Bab V Validasi Model
5.1 Pengujian Model Seperti yang telah dijelaskan sebelumnya, pengujian model sistem dinamik menyangkut tiga aspek yaitu : (1) pengujian struktur model; (2) pengujian perilaku model; (3) pengujian implikasi kebijakan.
Dalam studi ini tidak semua aspek pengujian dilakukan, hanya pada struktur dan perilaku model saja. Diharapkan dari pengujian pada kedua aspek tersebut dapat meningkatkan kepercayaan terhadap model tanpa melakukan pengujian implikasi kebijakan.
Pengujian struktur model dilakukan dengan melihat konsistensi dimensi dari persamaan-persamaan yang ada dalam model. Diharapkan dalam masing-masing persamaan tersebut dimensinya dapat konsisten tanpa menggunakan parameterparameter yang tidak ada di dunia nyata. Pengujian perilaku model dilakukan dengan uji reproduksi perilaku. Uji ini dilakukan dengan cara membandingkan gejala-gejala persoalan, jenis-jenis perilaku, frekuensi dan karakteristikkarakteristik yang dibangkitkan oleh model dengan kondisinya dalam dunia nyata (sistem riil). Untuk melakukan uji ini diperlukan bantuan alat yaitu alat statistik. Dalam studi ini alat statistik yang digunakan adalah Theil Inequality (U-Theil). Statistik Theil Inequality ini digunakan untuk mengetahui apakah perbedaan output yang dihasilkan oleh model terhadap data historis disebabkan oleh kesalahan sistematis atau karena efek random. Namun sebelumnya melalui perhitungan statistik RMSPE (Root Mean Square Percent Error) dapat diketahui terlebih dahulu nilai total tingkat kesalahan dari model yang merupakan nilai akar kuadrat rata-rata persentase kesalahan. Berikut ini adalah formulasinya.
76
RMSPE = 1 / n.t 1[( St At ) / At ] 2 ............................................Persamaan (5.1) n
S
1 St n
A
1 At n
Ss =
1 (S t S ) 2 n
SA =
1 ( At A) 2 n
r=
1 ( S t S )( At A) n SS S A
Keterangan: n = Jumlah data yang diuji (t = 1,... ..., n) St = nilai data-data yang disimulasikan pada waktu t At = nilai data-data historis pada waktu t S = rata-rata dari nilai-nilai data-data hasil simulasi
A = rata-rata dari nilai-nilai data-data historis
SS = Standar deviasi dari S SA = Standar deviasi dari A r = koefisien korelasi antara data simulasi dan data historis
Kemudian untuk mengetahui sumber-sumber kesalahan, maka dipergunakanlah uji statistik Theil Inequality atau uji statistik ketidaksamaan Theil sehingga diketahui komposisi kesalahan yang terjadi. Statistik ketidaksamaan Theil membagi rata kuadrat kesalahan ke dalam komponen ketidaksamaan karena bias (unequality bias proportion/UM), ketidaksamaan varian (unequality variance /US) dan ketidaksamaan kovarian (unequality covariance/UC) di mana hasil penjumlahan dari UM+US+UC harus sama dengan 1. Berikut ini adalah rumus perhitungannya.
77
UM = [(S A) 2 /(1 / n. (St At) 2 )] ...............................................Persamaan (5.2) US = [( S S S A ) 2 /(1 / n. (St At ) 2 )] ............................................Persamaan (5.3) UC = [2(1 r ) S S .S A /(1 / n. (St At ) 2 )] ........................................Persamaan (5.4)
5.2 Hasil Pengujian Model
Pengujian struktur model dengan melihat konsistensi dimensi dari persamaanpersamaan yang ada dalam model menunjukkan hasil bahwa persamaanpersamaan yang ada dalam model memiliki dimensi yang konsisten dengan parameter-parameter yang memang ada di dunia nyata. Sedangkan pengujian perilaku model dengan uji Theil dapat dilihat dalam sub-sub bab berikut yang merupakan perbandingan antara data-data hasil simulasi model dengan data-data historisnya disertai dengan nilai dari setiap perhitungan statistiknya. Variabelvariabel yang akan diuji sendiri di antaranya adalah: (1) Populasi Penduduk; (2) PDRB; (3) Jumlah Mobil Penumpang; (4) Jumlah Sepeda Motor; (5) Jumlah Mobil Barang; (6) Jumlah Mobil Bus; (7) Jumlah Angkutan Kota; (8) Jumlah Bus Kota; (9) Jumlah Taksi; (10) Jumlah Angkutan Umum Lainnya; dan (11) Jumlah Kendaraan Khusus.
78
5.2.1 Populasi Penduduk
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.1 Data Populasi Penduduk Historis dan Hasil Simulasi (Jiwa) No. Tahun Populasi Historis 1. 2002 2.142.194 2. 2003 2.228.268 3. 2004 2.232.624 4. 2005 2.270.970 5. 2006 2.296.848 Sumber: Bandung Dalam Angka 2006
Populasi Simulasi 2.142.194 2.178.659 2.233.897 2.294.233 2.355.762
Validasi Model Populasi 2.400.000
Jumlah Populasi
2.350.000 2.300.000 2.250.000 Populasi Historis
2.200.000
Populasi Simulasi
2.150.000 2.100.000 2.050.000 2.000.000 2002
2003
2004
2005
2006
Tahun
Gambar 5.1 Grafik Perbandingan Data Populasi Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 1,59%
UM 0,04
US 0,47
79
UC 0,50
r2 0,92
5.2.2 PDRB
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.2 Data PDRB Historis dan Hasil Simulasi (dalam Juta Rupiah) No. Tahun PDRB Historis 1. 2002 17.226.733 2. 2003 18.490.721 3. 2004 19.874.812 4. 2005 21.370.696 5. 2006 23.043.104 Sumber: Bandung Dalam Angka 2006
PDRB Simulasi 17.204.120 18.523.809 19.947.876 21.474.266 23.151.202
Validasi Model PDRB
Jumlah PDRB
25.000.000 20.000.000 15.000.000
PDRB Historis
10.000.000
PDRB Simulasi
5.000.000 0 2002
2003
2004
2005
2006
Tahun
Gambar 5.2 Grafik Perbandingan Data PDRB Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 0%
UM 0,59
US 0,36
80
UC 0,04
r2 1
5.2.3 Jumlah Mobil Penumpang
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.3 Data Jumlah Mobil Penumpang Historis dan Hasil Simulasi No.
Tahun
Jumlah Mobil Penumpang Historis 1. 2002 175.333 2. 2003 181.115 3. 2004 219.011 4. 2005 230.652 5. 2006 193.689 Sumber: Dinas Perhubungan Kota Bandung
Jumlah Mobil Penumpang Simulasi 175.333 187.606 200.739 214.932 230.341
Validasi Model Mobil Penumpang
Jumlah Mobil Penumpang
250.000 200.000 150.000
Mobil Penumpang Historis Mobil Penumpang Simulasi
100.000 50.000 0 2002
2003
2004
2005
2006
Tahun
Gambar 5.3 Grafik Perbandingan Data Jumlah Mobil Penumpang Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 10%
UM 0,01
US 0,01
81
UC 0,98
r2 0,54
5.2.4 Jumlah Sepeda Motor
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.4 Data Jumlah Sepeda Motor Historis dan Hasil Simulasi No.
Tahun
Jumlah Sepeda Motor Jumlah Sepeda Motor Historis Simulasi 1. 2002 324.366 324.366 2. 2003 344.132 369.388 3. 2004 425.135 420.659 4. 2005 428.375 480.429 5. 2006 544.660 550.912 Sumber: Dinas Perhubungan Kota Bandung
Validasi Model Sepeda Motor 600.000
Jumlah Sepeda Motor
500.000 400.000 Sepeda Motor Historis
300.000
Sepeda Motor Simulasi
200.000 100.000 0 2002
2003
2004
2005
2006
Tahun
Gambar 5.4 Grafik Perbandingan Data Jumlah Sepeda Motor Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 6%
UM 0,37
US 0,01
82
UC 0,63
r2 0,97
5.2.5 Jumlah Mobil Barang
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.5 Data Jumlah Mobil Barang Historis dan Hasil Simulasi No.
Tahun
Jumlah Mobil Barang Historis 1. 2002 45.648 2. 2003 46.758 3. 2004 54.261 4. 2005 58.084 5. 2006 62.818 Sumber: Dinas Perhubungan Kota Bandung
Jumlah Mobil Barang Simulasi 45.648 49.452 53.573 58.037 62.874
Validasi Model Mobil Barang
Jumlah Mobil Barang
70.000 60.000 50.000 40.000
Mobil Barang Historis
30.000
Mobil Barang Simulasi
20.000 10.000 0 2002
2003
2004
2005
2006
Tahun
Gambar 5.5 Grafik Perbandingan Data Jumlah Mobil Barang Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 3%
UM 0,10
US 0,14
83
UC 0,75
r2 0,99
5.2.6 Jumlah Mobil Bus
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.6 Data Jumlah Mobil Bus Historis dan Hasil Simulasi No.
Tahun
Jumlah Mobil Bus Historis 1. 2002 3.215 2. 2003 3.252 3. 2004 3.242 4. 2005 4.009 5. 2006 4.058 Sumber: Dinas Perhubungan Kota Bandung
Jumlah Mobil Bus Simulasi 3.215 3.376 3.545 3.722 3.908
Validasi Model Bis 4.500 4.000
JUmlah Bis
3.500 3.000 2.500
Mobil Bis Historis
2.000
Mobil Bus Simulasi
1.500 1.000 500 0 2002
2003
2004
2005
2006
Tahun
Gambar 5.6 Grafik Perbandingan Data Jumlah Mobil Bus Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 6%
UM 0,00
US 0,50
84
UC 0,50
r2 0,89
5.2.7 Jumlah Angkutan Kota
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.7 Data Jumlah Angkutan Kota (Angkot) Historis dan Hasil Simulasi No. Tahun Angkutan Kota Historis 1. 2002 5.461 2. 2003 5.432 3. 2004 5.521 4. 2005 5.521 5. 2006 5.521 Sumber: Dinas Perhubungan Kota Bandung
Angkutan Kota Simulasi 5.461 5.478 5.496 5.514 5.531
Validasi Model Angkot 5.540
Jumlah Angkot
5.520 5.500 5.480 Angkot Historis
5.460
Angkot Simulasi
5.440 5.420 5.400 5.380 2002
2003
2004
2005
2006
Tahun
Gambar 5.7 Grafik Perbandingan Data Angkutan Kota Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 0%
UM 0,04
US 0,28
85
UC 0,68
r2 0,79
5.2.8 Jumlah Bus Kota
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V.8 Data Jumlah Bus Kota Historis dan Hasil Simulasi No. Tahun Bis Kota Historis Bis Kota Simulasi 1. 2002 236 236 2. 2003 245 241 3. 2004 255 246 4. 2005 255 250 5. 2006 256 255 Sumber: Dinas Perhubungan Kota Bandung
Validasi Model Bus Kota 260
Jumlah Bus Kota
255 250 245
Bus Kota Historis
240
Bus Kota Simulasi
235 230 225 2002
2003
2004
2005
2006
Tahun
Gambar 5.8 Grafik Perbandingan Data Bis Kota Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 2%
UM 0,59
US 0,05
86
UC 0,36
r2 0,92
5.2.9 Jumlah Taksi
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V. 9 Data Jumlah Taksi Historis dan Hasil Simulasi No. Tahun Jumlah Taksi Historis 1. 2002 1.003 2. 2003 1.018 3. 2004 1.103 4. 2005 1.095 5. 2006 1.310 Sumber: Dinas Perhubungan Kota Bandung
Jumlah Taksi Simulasi 1.003 1.073 1.148 1.229 1.315
Validasi Model Taksi 1.400
Jumlah Taksi
1.200 1.000 800
Taksi Historis
600
Taksi Simulasi
400 200 0 2002
2003
2004
2005
2006
Tahun
Gambar 5.9 Grafik Perbandingan Data Jumlah Taksi Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 6%
UM 0,50
US 0,00
87
UC 0,50
r2 0,9
5.2.10 Jumlah Angkutan Umum Lainnya
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V. 10 Data Jumlah Angkutan Umum Lainnya Historis dan Hasil Simulasi No.
Tahun
Jumlah Angkutan Umum Lainnya Historis 1. 2002 1.635 2. 2003 2.076 3. 2004 2.187 4. 2005 3.340 5. 2006 3.125 Sumber: Dinas Perhubungan Kota Bandung
Jumlah Angkutan Umum Lainnya Simulasi 1.635 1.929 2.277 2.686 3.170
Validasi Model Angkum Lainnya
Jumlah Angkum Lainnya
4.000 3.500 3.000 2.500
Angkum Lainnya Historis
2.000
Angkum Lainnya Simulasi
1.500 1.000 500 0 2002
2003
2004
2005
2006
Tahun
Gambar 5.10 Grafik Perbandingan Data Angkutan Umum Lainnya Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 10%
UM 0,19
US 0,12
88
UC 0,68
r2 0,91
5.2.11 Jumlah Kendaraan Khusus
Berikut ditampilkan dalam tabel dan grafik data-data historis dan data-data hasil simulasi.
Tabel V. 11 Data Jumlah Kendaraan Khusus Historis dan Hasil Simulasi No.
Tahun
Jumlah Kendaraan Khusus Historis 1. 2002 261 2. 2003 260 3. 2004 260 4. 2005 260 5. 2006 260 Sumber: Dinas Perhubungan Kota Bandung
Jumlah Kendaraan Khusus Simulasi 261 261 261 261 261
Validasi Model Kendaraan Khusus
Jumlah Kendaraan Khusus
262
261 Kend. khusus Historis Kend. khusus Simulasi 260
259 2002
2003
2004
2005
2006
Tahun
Gambar 5.11 Grafik Perbandingan Data Kendaraan Khusus Historis dan Simulasi
Perhitungan statistik dengan menggunakan Persamaan (5.1), (5.2) dan (5.3) menghasilkan nilai-nilai sebagai berikut: RMSPE 0,34%
UM 0,8
US 0,2
89
UC 0,0
r2 1
Untuk menginterpretasikan hasil perhitungan uji ketidaksamaan Theil, ada beberapa hal yang perlu diperhatikan sebagai berikut ini. 1. Kesalahan karena bias dindikasikan dengan nilai UM yang besar, sementara nilai US dan UC kecil. Kesalahan bias dianggap berpotensi serius dan biasanva terjadi dalam mengestimasi parameter. Kesalahan ini dikategorikan sebagai kesalahan sistematis antara hasil simulasi model dengan data nyatanya. 2. Kesalahan karena ketidaksamaan varian juga merupakan kesalahan sistematis. Ada dua kasus yang mungkin ditemui dalam kesalahan ini, yaitu: 1) Jika nilai US mendominasi kesalahan (besar) sedangkan nilai UM dan UC kecil, berarti memiliki rata-rata yang sama dan korelasi yang tinggi, tetapi jarak variasi rata-ratanya berbeda. Keadaan ini menunjukkan
nilai
simulasi
dan
nilai
aktual
mempunyai
kecenderungan yang berbeda. 2) Jika nilai US besar, tetapi memiliki rata-rata yang sama (UM=0) dan UC kecil. Kesalahan terjadi karena gangguan acak (random noise) atau nilai aktual mempunyai siklus yang berbeda dengan simulasi. Untuk menginterpretasikan kesalahan ini sangat ditentukan oleh tujuan menyusun model. Apabila model dibuat untuk menyelidiki pola siklusnya, maka kesalahan ini dikategorikan sebagai kesalahan sistematis. Akan tetapi apabila tujuan membuat model untuk menganalisis perilaku jangka panjang, maka kesalahan ini tidak penting dan bersifat tidak sistematis. 3. Kesalahan karena ketidaksamaan kovarian yang dindikasikan dengan nilai UC yang besar, sementara nilai UM dan US kecil. Kesalahan menunjukkan bahwa nilai tiap-tiap titik (point by point) antara hasil simulasi model dengan data aktual tidak sama meskipun model bisa dikatakan memiliki nilai rata-rata dan kecenderungan yang sama dengan nilai aktualnya. Nilai UC yang besar merupakan indikasi terjadinya gangguan dan pola siklus pada data aktual yang tidak dapat ditangkap model. Kesalahan ini pada umumnya bukan merupakan kesalahan sistematis.
90
Pada dasarnya signifikansi dan tingkat toleransi model ditentukan oleh tujuan dalam membangun sebuah model itu sendiri dan juga karakteritik datanya. Sehingga setelah diketahui nilai perhitungan statistik dari setiap variabel yang divalidasi ternyata ada beberapa variabel yang tidak memenuhi persyaratan nilai UM harus lebih kecil daripada nilai UC dan US namun bila mengacu pada pernyataan sebelumnya maka secara umum model yang dibuat sudah cukup kuat dalam menirukan perilaku di dunia nyatanya. Dengan demikian model ini ke depannya dapat digunakan sebagai alat untuk memahami dunia nyata dan untuk merancang kebijakan-kebijakan yang dapat mengubah dunia nyata tersebut sesuai dengan yang diinginkan. Dalam bab berikutnya model ini akan dicoba disimulasikan pada skenario dasar dengan parameter yang telah ditentukan sebelumnya dan dicoba pada beberapa skenario lain dengan perubahan pada beberapa parameternya sebagai bentuk intervensi yang pada kenyatannya merupakan kebijakan-kebijakan yang diterapkan.
91