ESTIMASI INTERVAL SPLINE DALAM REGRESI NONPARAMETRIK Muhammad Nafi’1, I Nyoman Budiantara2 Mahasiswa S2 Jurusan Statistika FMIPA ITS Surabaya1 Email:
[email protected] Dosen Jurusan Statistika FMIPA ITS Surabaya1
Abstraks Diberikan model regresi nonparametrik yi = f(xi) + εi, xi
∈
[a,b], i=1,2,…,n. Kurva regresi f diasumsikan
p
^
smooth, dalam arti f termuat di dalam ruang Sobolev W2 [ a, b] . Umumnya estimasi titik f diperoleh dari meminimumkan Penalized Likelihood (PL). Untuk menyelesaian optimasi PL ini, para peneliti menggunakan pendekatan Reproducing Kernel Hilbert Space (RKHS) atau Gateaux. Sedangkan untuk persoalan inferensi seperti estimasi interval (interval konfidensi) untuk f, menggunakan pendekatan Bayesian. Tetapi pendekatan ini memerlukan pengetahuan Matematika yang relatif tinggi dan sulit dipahami oleh banyak pengguna Statistika. ^
Dalam tulisan ini, penulis mengestimasi titik f dengan menggunakan optimasi Likelihood dan mengkonstruksi selang kepercayaan untuk kurva regresi f dengan pendekatan Spline menggunakan Pivotal Quantity, yang merupakan generalisasi regresi parametrik. Inferensi statistik yang dihasilkan secara matematik lebih mudah dan sederhana, serta mudah dipahami oleh pengguna Statistika. Selanjutnya, diberikan suatu ilustrasi numerik model Spline untuk menduga pola hubungan antara umur balita dengan berat badan balita di Kota Surabaya, beserta interval konfidensinya. Kata kunci : Regresi Nonparametrik, Penalized Likelihood, Spline, Pivotal Quantity
1. Pendahuluan Dalam Statistika untuk mengetahui model pola hubungan antara variabel prediktor xi dan variabel respon yi dapat digunakan analisis regresi. Asumsikan data berpasangan (xi, yi) mengikuti model regresi yi = f(xi) + εi, i=1,2,…,n. Fungsi f(xi) merupakan kurva regresi dan εi error random yang diasumsikan berdistribusi normal independen dengan mean nol dan 2 variansi σ . Apabila dalam analisis regresi bentuk kurva regresi diketahui secara jelas, maka model regresi tersebut dinamakan model regresi parametrik (Hardle,1990). Sebagai ilustrasi, jika pola data cenderung mengikuti model linear/kuadratik/kubik, maka pendekatan regresi yang sesuai untuk data tersebut adalah regresi parametrik linear/kuadratik/kubik (Budiantara,2001a). Dalam kehidupan nyata, sesungguhnya tidak semua data (xi, yi) diketahui pola hubungannya secara jelas. Apabila pada kasus seperti ini, model parametrik tetap dipaksakan sebagai model pola data, maka akan diperoleh kesimpulan yang menyesatkan. Regresi nonparametrik merupakan pendekatan regresi yang sesuai untuk pola data yang tidak diketahui bentuknya, atau tidak terdapat informasi masa lalu tentang pola data (Budiantara,2001b). Model regresi nonparametrik
yang sering mendapat perhatian dari para peneliti adalah Kernel (Hardle,1990), Spline (Wahba,1990; Craven dan Wahba,1979; Budiantara, et. al.,1997), Deret Fourier dan Wavelets (Antoniadis, et. al.,1994). Dalam pendekatan regresi nonparametrik, data diharapkan mencari sendiri bentuk pendugaannya, tanpa dipengaruhi oleh faktor subyektifitas peneliti. Diantara model-model regresi nonparametrik di atas, Spline merupakan model regresi yang mempunyai interpretasi Statistik dan Visual sangat khusus dan sangat baik. Model Spline diperoleh dari suatu optimasi Penalized Least Square (PLS) dan memiliki fleksibelitas yang tinggi (Budiantara,2004). Disamping itu Spline mampu menangani karakter data/fungsi yang mulus (smooth). Spline juga memiliki kemampuan yang sangat baik untuk menangani data yang perilakunya berubah-ubah pada sub-sub interval tertentu (Cox dan O’Sullivan,1996; Eubank,1988; Budiantara,2006). Dalam regresi nonparametrik Spline, penduga kurva regresi diperoleh dari optimasi PLS atau Penalized Likelihood (PL)(Craven dan Wahba,1979; Budiantara, et. al.,1997). Penyelesaian optimasi ini diperoleh dengan menggunakan metode RKHS atau Gateaux. Metode ini secara Matematik relatif sulit,
karena memerlukan pengetahuan tentang Analisis Real dan Analisis Fungsional yang tinggi, sehingga sulit dipahami dan diselesaikan oleh para pengguna regresi nonparametrik Spline. Namun untuk menduga kurva regresi yang diperoleh dari optimasi Likelihood dapat menjadi pilihan yang cukup baik karena secara matematik mudah dan sederhana. Sedangkan untuk mengkonstruksi selang kepercayaan pada kurva regresi, beberapa peneliti seperti Wahba (1983) dan Budiantara (2000b) menggunakan pendekatan Bayesian dengan menggunakan prior improper sehingga secara matematis cukup sulit. Akan tetapi jika selang kepercayaan diperoleh dengan pendekatan Pivotal Quantity tidak akan melibatkan distribusi prior, sehingga diperoleh model yang sederhana dan inferensi Statistika yang relatif mudah (Eubank, 1988). Berdasarkan hal diatas, penulis tertarik untuk mempelajari pendekatan spline menggunakan optimasi Likelihood dan menurunkan interval konfidensi untuk kurva regresi nonparametrik dengan pendekatan Pivotal Quantity. Penerapan regresi spline dan interval konfidensi akan digunakan untuk mengetahui pola ratarata berat badan dan umur balita, khususnya di kota Surabaya pada tahun 2007.
2. Estimasi Titik Untuk Kurva Regresi Diberikan model regresi nonparametrik yi = f(xi) + εi, xi ∈ [a,b], i=1,2,…,n. Bentuk kurva regresi f diasumsikan tidak diketahui, termuat di dalam ruang Sobolev
{ 1, x, x2,
( x − λ1 ) 2+ ,
dan variansi
σ 2 . Akibatnya diperoleh fungsi Likelihood:
L( y, f ) =
⎛
n
⎞ ( y i − f ( xi )) ⎟ 2σ ⎠ 1 (2πσ 2 ) − n / 2 Exp (− ( y i − f ( xi )) 2 2 2σ
∏ ⎜⎝ (2πσ i =1
=
2
2
)
Optimasi Likelihood
x j + ∑ γ k + 2 ( x − λk ) 2+ ,
(1)
k =1
merupakan konstanta yang bernilai real.
Model regresi Spline dapat ditulis menjadi : yi = f(xi) + εi.
1
2
Max { L( y, f ) } = f
2 −n / 2 Max { ( 2πσ ) Exp (− 2 + m +1
γ ∈R 2
m
j =0
k =1
n
1 2σ 2
∑(y i =1
i
−
∑ γ j x j − ∑ γ k + 2 ( x − λk )2+ )2)} Apabila diambil transformasi Logaritma dan mengingat persamaan (1) maka diperoleh fungsi :
n 1 − log(2πσ 2 ) − 2 2σ 2
Log L ( y , λ , γ ) =
n
∑(y i =1
i
−
m
j
x j − ∑ γ k + 2 ( x − λk ) 2+
)2.
k =1
Dengan penyajian matriks, diperoleh : Log L ( y , λ , γ ) = −
−
1
n log(2πσ 2 ) 2
( y − T ( x, λ )γ )′( y − T ( x, λ )γ ) ,
(2)
(γ 0 , γ 1 , γ 2 , γ 3 , γ 4 , γ 5 , γ 6 ) ′ ,
=
y= ( y1 ,..., y n )′ , dan knots
Exp (−
Estimasi titik untuk f diperoleh dengan menyelesaikan
2σ 2 dengan γ
m
j
2 −1 / 2
j =0
merupakan titik perpaduan bersama yang memperlihatkan terjadinya perubahan pola prilaku dari fungsi Spline pada interval-interval yang berbeda. Untuk setiap fungsi f dalam ruang Spline dapat dinyatakan menjadi :
γj
2
( x)) dx < ∞ }
⎧( x − λ ) 2 , x ≥ λ ( x − λ ) 2+ = ⎨ , x<λ ⎩0 λ1 , λ 2 , λ3 merupakan titik-titik knots. Titik
dengan
normal independen dengan mean nol dan variansi σ , maka yi juga berdistribusi normal dengan mean f(xi)
∑γ
. . . , ( x − λ m ) + },
+ εi.
Apabila diasumsikan sesatan random εi berdistribusi
2
dengan :
j =0
k =1
2
( p)
Selanjutnya estimasi titik untuk kurva f diperoleh dengan menggunakan Optimasi Likelihood. Diberikan suatu Basis untuk ruang Spline (Budiantara,2001(b)) berbentuk :
∑γ
j =0
W [a, b] , dengan :
W [ a, b ] = { g ; ∫ ( f
f(x)=
m
p 2
p 2
dan
2
j ∑ γ j xi + ∑ γ k +2 ( xi − λk ) 2+
=
T ( x, λ )
matriks berukuran
nx(m+3), diberikan oleh : T ( x, λ ) =
⎛1 ⎜ ⎜1 ⎜ ⎜M ⎜ ⎝1
2
x1
x1
x2
x2
M
M
xn
xn
2
2
( x1 − λ1 ) +2 L ( x1 − λm ) +2 ⎞ ⎟ 2 2⎟ ( x2 − λ1 ) + L ( x2 − λm ) + ⎟. M O M ⎟ 2 2 ⎟ ( xn − λ1 ) + L ( xn − λm ) + ⎠
Apabila persamaan (2) diderivatifkan parsial terhadap γ kemudian hasilnya disamakan dengan nol, didapat :
∂ Log L( y, λ , γ ) = ∂γ ∂ 1 ( y − T ( x, λ )γ )′( y − T ( x, λ )γ )] [− ∂γ 2σ 2 Dengan
sedikit
penjabaran
dan
=
mengingat
γ adalah : γˆ ( x, λ ) = [ T ′( x, λ ) T ( x, λ ) ) ]−1 T ′( x, λ ) y. Estimator kurva regresi f (x ) diberikan oleh : f ( x, λ ) =
T ( x, λ ) [ T ′( x, λ ) T ( x, λ ) ) ]−1 T ′( x, λ ) y. = W ( x, λ ) y,
^
f ( x, λ )
berdistribusi N( Jika diambil Transformasi :
^
= { λ1 , λ 2 , . . ., λm }. Dalam model Spline titik
knots harus dipilih dengan berbagai metode seperti Generalized Cross Validation (GCV) (Budiantara,2000a dan Wahba,1983), Cross Validation (CV) (Craven dan Wahba,1979), Generalized Maximum Likelihood (GML) (Wang,1998), atau metode-metode yang lainnya. Estimator linear ini sangat membantu dalam membangun inferensi Statistik, seperti interval konfidensi untuk kurva regresi f.
3. Interval Konfidensi Untuk Kurva Regresi Persoalan inferensi yang sangat penting dalam regresi Spline, adalah interval konfidensi untuk
f ( xi ) ,
i = 1,2,...,n. Untuk memperoleh
interval konfidensi, umumnya digunakan pendekatan Bayesian (Wahba,1983 ; 1990 dan Wang,1998). Dalam tulisan ini digunakan pendekatan lain, yaitu Pivotal Quantity. Karena
ε
= ( ε1 ,..., ε n
)′
berdistribusi
I ) maka :
f (x ) , σ I ). Selanjutnya variabel random γˆ ( x, λ ) berdistribusi −1 2 N( f (x ) , [ T ′( x, λ ) T ( x, λ ) ) ] σ ). 2
y berdistribusi N(
^
Ekspektasi dan Variansi dari diberikan oleh :
f ( x, λ ) ,
berturut-turut
f ( x, λ ) )= T ( x, λ ) [ T ′( x, λ ) T ( x, λ ) ) ]−1 T ′( x, λ ) T ( x, λ ) γ
f (x ) ),
^
σ 2ω i ( xi , λ1 , λ 2 , ..., λ m )
Terlihat bahwa f ( x, λ ) merupakan estimator linear dalam observasi y dan sangat tergantung pada titik
^
^
f ( xi , λ1 , λ 2 , ..., λ m ) − f ( xi ) 2
m
j =0
k =1
, i = 1,2,...,n.
∑ γˆ j xij + ∑ γˆk + 2 ( xi − λk ) 2+ − f ( xi )
T ( x, λ ) [ T ′( x, λ ) T ( x, λ ) ) ]−1 T ′( x, λ ) .
E(
(σ W ( x, λ ) )−1 ( f ( x, λ ) -
U ( xi , λ1 , λ 2 , ..., λ m ) =
W ( x, λ ) =
N(0, σ
f (x ) , σ 2 W ( x, λ ) ).
atau :
dengan :
2
dan
Karena sifat linearitas dari distribusi normal maka variabel random :
U ( x, λ ) =
^
kurva regresi
f (x ) ,
σ 2 T ( x, λ ) [ T ′( x, λ ) T ( x, λ ) ) ]−1 T ′( x, λ ) 2 = σ W ( x, λ ) .
= 0.
diperoleh estimasi Likelihood untuk
λ
=
f ( x, λ ) )=
Var(
T ( x, λ ) merupakan matriks dengan rank penuh, maka
knots
T ( x, λ ) γ
^
=
σ 2ω i ( xi , λ1 , λ 2 , ..., λ m ) dengan ω i ( xi , λ1 , λ 2 , ..., λ m ) elemen diagonal ke-i Variabel random dari matriks W ( x, λ ) . U ( xi , λ1 , λ 2 , ..., λ m ) berdistribusi N(0,1). Dengan demikian U ( xi , λ1 , λ 2 , ..., λ m ) merupakan Pivotal Quantity
untuk
Konfidensi persamaan:
Kurva
1−α
regresi
diperoleh
dari
f ( xi ) .
Interval
menyelesaikan
P(a ≤ U ( xi , λ1 , λ 2 , ..., λ m ) ≤ b) = 1 − α , dengan a ∈ R , b ∈ R , dan a < b, i = 1,2,...,n. Persamaan di atas dapat dinyatakan menjadi : 2
P( a ≤
K
∑ γˆ j xij + ∑ γˆk +2 ( xi − λk ) +2 − f ( xi ) j =0
k =1
σ ω i ( xi , λ1 , λ2 , ..., λm )
≤ b) = 1 − α
2
Dengan
sedikit
konfidensi
1−α
penjabaran, untuk
diperoleh
f ( xi ) , untuk
interval
i = 1,2,...,n
K ⎛⎡ 2 ⎤ ⎜ ⎢∑ γˆ j xi j + ∑ γˆ k + 2 ( xi − λ k ) +2 ⎥ k =1 P⎜ ⎣ j = 0 ⎦ ⎜ ⎜ − b σ 2 ω ( x , λ , λ , ..., λ ) ≤ f ( x ) ≤ 1 2 i i m i ⎝ K ⎤⎞ ⎡ 2 j 2 ˆ ⎢∑ γ j xi + ∑ γˆ k + 2 ( xi − λ k ) + ⎥ ⎟ k =1 ⎦ ⎟ =1 − α ⎣ j =0 ⎟ − a σ 2 ω i ( xi , λ1 , λ 2 , ..., λ m ) ⎟⎠
(3)
{ l ( a, b) } =
{
Min (b − a) σ 2 ω i ( xi , λ1 , λ 2 , ..., λ m )
a∈R , b∈R
∫ ϕ (u) du =
}
,
(4)
b
a
ϕ
atau
(5) merupakan distribusi probabilitas N(0,1) dan
Φ merupakan distribusi probabilitas Kumulatif N(0,1). Optimasi (4) dan (5) dapat diselesaikan dengan menggunakan metode Lagrange Multiple. Dibentuk fungsi Lagrange :
Ω(a, b , c) = (b − a) σ 2 ω i ( xi , λ1 , λ2 , ..., λm ) b
+
2
c [ ∫ ϕ (u ) du = − (1 − α ) ] .
∞
= ∫ ϕ (u ) du
(10)
b
Jika tingkat konfidensi 1 − α diberikan, maka nilai a dan b dapat dilihat dalam tabel distribusi N(0,1). Interval konfidensi
1−α
untuk kurva regresi
f ( xi ) ,
i = 1,2,...,n diberikan oleh Persamaan (3), dengan a dan b memenuhi Persamaan (10).
4. Aplikasi Model dan Interval Konfidensi Spline Pada umumnya pola pertumbuhan balita tidaklah konstan, tetapi terjadi perubahan pola pertumbuhan pada umur-umur tertentu. Sejak kelahiran sampai umur 6 bulan pertumbuhan balita umumnya sangat pesat, tetapi setelah umur 6 bulan pertumbuhannya agak perlahan. Hal ini dapat dilihat dengan memodelkan pola hubungan antara umur dan berat badan balita di Kota Surabaya dengan model spline polinomial truncated :
Φ (b) − Φ ( a ) − (1 − α ) = 0
Fungsi
α
−∞
Dengan syarat :
∫ ϕ (u) du =1− α ,
Jadi agar diperoleh interval konfidensi terpendek harus diambil nilai a dan b yang memenuhi persamaan : a
pada sehingga panjang dari interval l ( a, b) Persamaan (3) terpendek. Untuk tujuan ini, dicari penyelesaian optimasi bersyarat berikut.
Min
U ~ N ( 0,1) maka penyelesaian Persamaan (9) adalah a = b , atau a = − b . Tetapi persamaan a = b tidak memenuhi.
Mengingat persamaan (8) dan
Dengan menggunakan konsep Interval konfidensi terpendek, harus ditentukan nilai a ∈ R dan b ∈ R ,
a∈R , b∈R
Persamaan (6) dan (7) menghasilkan penyelesaian : (9) ϕ ( a ) = ϕ (b ) .
f(x) =
p
m
j =0
k =1
∑ γ j x j + ∑ γ k + p ( x − λk ) +p ,
untuk berbagai nilai p yang menunjukan orde spline dan berbagai m yang menunjukan banyak titik knot. Untuk memilih titik knot optimal dalam model spline digunakan metode GCV. Dengan menggunakan Program S-Plus 2000 didapatkan nilai GCV terkecil 0,02526942 terjadi pada model spline kuadratik dengan tiga titik knot pada umur 4 bulan, umur 8 bulan, dan umur 14 bulan. Gambar 1. Plot data dan spline kuadratik dengan titik knot 4, 8 dan 14, GCV: 0.02526942
a
− σ 2 ωi ( xi , λ1 , λ2 , ..., λm ) − c ϕ (a ) = 0.
12
(6)
∂Ω( a, b, c) = 0 ⇒ Φ (b) − Φ ( a ) − (1 − α ) = 0 ∂c
4
6
∂Ω( a, b, c ) =0 ⇒ ∂b
σ 2 ωi ( xi , λ1 , λ2 , ..., λm ) + c ϕ (b) = 0.
14
fungsi
10
Ω( a, b , c ) ∂Ω( a, b, c ) =0 ⇒ ∂a
berat bayi
dengan menderivatifkan terhadap a, b, dan c diperoleh:
8
Selanjutnya
(7) 0
(8)
10
20
30 umur bayi bayi umur
40
50
Setelah diperoleh titik – titik knot optimum selanjutnya dilakukan pendugaan pada model:
f ( x) = γ 0 + γ 1 x + γ 2 x + γ 3 ( x − λ ) 2
2 1 +
+ γ 4 ( x − λ2 ) 2+ + γ 5 ( x − λ3 ) 2+ Secara lengkap model regresi spline setelah diperoleh nilai – nilai estimasi dari γj yang signifikan adalah sebagai berikut : ^
f ( x) = 3.556999 + 0.9431169 x - 0.05900713 x 2 + 0.03508034 ( x − 4) 2+ + 0.01593129 ( x − 8) 2+ + 0.007242174( x − 14) 2+
Tabel 1. Ringkasan statistik estimasi parameter model spline kuadratik. Koefisien
Estimasi
γ0
3.556999
0.06147854
57.85758
γ1
0.9431169
0.05019262
18.78995
γ2
-0.05900713
0.008360408
-7.05792
γ3
0.03508034
0.01137463
3.084086
γ4
0.01593129
0.004361522
3.65269
γ5
0.007242174
0.001009004
7.177547
Stdev
t-hit.
10 8 6 4
berat bayi
12
14
Jadi berdasarkan Tabel 1, dapat disimpulkan pula bahwa model spline kuadratik dengan titik-titik knot 4, 8 dan 14 dengan nilai GCV = 0.02526942 adalah memadai sebagai model pendekatan untuk data. Setelah mendapatkan model spline terbaik dengan model kuadratik tiga titik knot 4, 8 dan 14 bulan, akan dibangun interval konfidensi 95%. Kurva berwarna hitam adalah kurva spline dengan titik knot optimal dan kurva lain berturut-turut merupakan interval konfidensi spline bawah dan atas. Gambar 2. Interval Konfidensi Spline
10
20
30
umur bayi
1. Untuk memperoleh estimasi titik kurva regresi dalam regresi nonparametrik spline, umumnya digunakan optimasi Penalized Likelihood. Disamping itu dapat pula menggunakan optimasi Likelihood yang memberikan hasil relatif mudah. 2. Untuk membangun interval konfidensi dalam regresi nonparametrik spline, umumnya digunakan pendekatan Bayesian. Pendekatan Pivotal Quantity juga dapat digunakan dan memberikan hasil yang relatif sederhana. 3. Model Spline kuadrat sangat memadai untuk digunakan menduga pola hubungan antara umur balita dan berat badan balita di Kota Surabaya.
6. Referensi
Dari hasil pemilihan titik–titik knot optimal 4, 8, 14, diperoleh R2 = 0.9968227, atau R2 = 99,682%
0
5. Kesimpulan
40
50
Antoniadis, A., Gregorire, G. and Mackeagu, W., 1994, Wavelets Methods for Curve Estimation, Journal of the American Statistical Association., 89, 13401353. Budiantara, I.N, Subanar, and Soejoeti, Z., 1997, Weighted Spline Estimator, Bulletin of the International Statistical Insitute, 51, 333-334. Budiantara, I.N, 2000a, Metode U, GML, CV dan GCV Dalam Regresi Nonparametrik Spline, Majalah Ilmiah Himpunan Matematika Indonesia (MIHMI), 6, 285-290. Budiantara, I. N., 2000b, Optimasi dan Proyeksi Dalam Regresi Nonparametrik Spline, Majalah Berkala Matematika dan Ilmu Pengetahuan Alam (BMIPA), Universitas Gadjah Mada, 10, 35-44. Budiantara, I.N, 2001(a), Regresi Nonparametrik dan Semiparametrik Serta Perkemba-ngannya, Makalah Pembicara Utama pada Seminar Nasional Alumni Pasca Sarjana Matematika Universitas Gadjah Mada, Yogyakarta. Budiantara, I.N, 2001(b), Estimasi Parametrik dan Nonparametrik untuk Pendekatan Kurva Regresi, Makalah Pembicara Utama pada Seminar nasional Statistika V, Jurusan Statistika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Teknologi Sepuluh Nopember (ITS), Surabaya. Budiantara, I.N, 2004, Spline : Historis, Motivasi, dan Perannya Dalam Regresi Nonparametrik, Makalah Pembicara Utama pada Konferensi Nasional Matematika XII, Jurusan Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Udayana (UNUD), Denpasar. Budiantara, I.N, 2006, Regresi Nonparametrik Dalam Statistika, Makalah Pembicara Utama pada Seminar Nasional Matematika, Jurusan Matematika, Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Negeri Makasar (UNM), Makasar. Cox, D. D. and O’Sullivan, F.,1996, Penalized Type Estimator for Generalized Nonparametric Regression, 1983, Journal of Multivariate Analysis, 56, 185-206. Craven, P. and Wahba, G.,1979, Smoothing Noise Data with Spline Functions, Numerische Mathematics, 31, 377-403.
Eubank, R.L.,1988, Spline Smoothing and Nonparametric Regression, Marcel Deker, New York. Hardle, W.,1990, Applied Nonparametric Regression, Cambridge University Press, New York. Soetjiningsih, (1995), Tumbuh Kembang Anak, Laboratorium Ilmu Kesehatan Anak Universitas Airlangga, Surabaya. Supariasa, I.N.,Bakri, B., dan Fajar, I., (2002), Penilaian Status Gizi, Penerbit Buku Kedokteran EGC, Jakarta.
Wahba, G.,1983, Bayesian Confidence Interval for the Cross Validated Smoothing Parameter in the Generalized Spline Smoothing Problems, The Annals of Statistics, 13, 1378-1402. Wahba, G.,1990, Spline Models for Observasional Data, SIAM Pensylvania. Wang, Y., 1998, Spline Smoothing Models With Correlated Errors, Journal of the American Statistical Association., 93, 341-348.