Catatan Pengukuran Error Pada Kasus Asymmetric Loss Function dan Permasalahan Pengukuran Error Pada Metode Trend Line Yonna Ribut Perdana Putra, Yudha Andrian Saputra Jurusan Teknik Industri Institut Teknologi Sepuluh Nopember (ITS) Surabaya Kampus ITS Sukolilo 60111 email:
[email protected];
[email protected] ABSTRAK Dalam melakukan pengukuran besaran error yang ada saat ini, terdapat beberapa metode pengukuran yang telah dikembangkan. Keberadaan tanda absolut/mutlak dalam formulasi metode pengukuran error tersebut mengindikasikan bahwa konsekuensi untuk nilai error positif dan error negatif memiliki besaran yang sama, yang selanjutnya disebut sebagai penalty. Namun kenyataannya, penalty untuk error positif bisa jadi berbeda dengan penalty untuk error negatif. Kasus semacam inilah yang disebut sebagai asymmetric loss function. Kasus – kasus asymmetric loss function merupakan kasus yang umum terjadi dalam kehidupan sehari – hari, sebagai contoh pada kasus replenishment. Karena perbedaan penalty antara konsekuensi error negatif dan error positif tersebut, maka dapat dimungkinkan terjadi perbedaan tentang cara pengambilan keputusan terkait pemilihan metode peramalan. Penelitian ini dilakukan untuk menentukan cara evaluasi metode peramalan yang mengakomodasi penalty pada setiap konsekuensi pada kasus asymmetric loss function. Selain masalah tersebut, penulis melihat masih terdapat hal yang dapat diimprove terkait metode pengukuran error peramalan, khususnya pada metode trend line. Pada pengukuran error saat ini, terdapat kecenderungan bahwa derajat polinomial tinggi dan update data menyebabkan kecenderungan menghasilkan nilai error yang lebih kecil. Sehingga, model dengan derajat polinomial yang lebih tinggi akan selalu lebih unggul dibandingkan dengan model dengan derajat polinomial yang lebih rendah. Pengukuran semacam ini tidak mencerminkan error actual dan dapat dikatakan sebagai pengukuran yang kurang fair. Hal ini disebabkan karena pada metode pengukuran error di metode trend line saat ini hanya melakukan pengukuran untuk potential error. Sehingga penelitian ini mengajukan sebuah catatan terkait metode pengukuran error pada metode trend line dan cara pengukuran yang dapat mencerminkan performansi error yang sebenarnya. Kata Kunci
: Asymmetric Loss Function, Penalty, Konsekuensi Error, Metode Trendline, Potential Error, Performance Error
ABSTRACT Nowadays in term of error measurement, there are several measurement methods have been developed. The existence of absolute sign in the formulation of the method of measurement error, indicating that the consequences for error values positive and negative errors have the same magnitude, here in after referred to as the penalty. But in reality, the penalty for a positive error may be different from the penalty for negative error. This case called asymmetric loss function. Asymmetric loss function is the most common case that happened, such as replenishment case. Due to the difference between the penalty and the negative consequences of error is positive, it may make a different ways to make a decision making. The study was conducted to determine how the evaluation of forecasting methods that accommodate the penalty on any consequences in the case of asymmetric loss function. In addition to these problems, the authors see there are still things that can be related for improving forecasting error of measurement methods, especially on error measurement of trend line method. Measurement error at the moment, there is a tendency that the higher degree polynomial and update data causes a tendency to produce smaller error value. The condition makes that the higher degree polynomial always better than the lower ones. Such measurements do not reflect the actual error, because the measurement measure potential error not actual error. Thus this study filed a lawsuit related to the method of measurement error on the measurement method and the trend line which can reflect the real error performance Keyword
: Asymmetric Loss Function, Penalty, Error Consequences, Trendline Method, Potential Error, Performance Error
1. Latar Belakang Dalam sebuah peramalan, besaran kesalahan/error peramalan memiliki dua peranan penting. Pertama ialah memberikan informasi untuk pemilihan metode peramalan. Kedua, besaran kesalahan peramalan juga memberikan dasar kepada pengambil keputusan untuk bagaimana melakukan antisipasi dan pengelolaan risiko dari kesalahan peramalan tersebut. Dua hal tersebut menjadi aspek yang penting dalam kaitannya dengan error peramalan. Topik terkait error peramalan sebenarnya telah diteliti sejak lama. Hal ini menyebabkan pengembangan pengetahuan dan konsep terkait error telah terbangun dengan baik, khususnya metode pengukuran error. Hyndman & Koehler (2006) memberikan review tentang macam – macam metode pengukuran error peramalan. Mentzer et.al mengadakan survey setiap sepuluh tahun yakni pada tahun 1984, 1995, dan 2006. Survey tersebut dilakukan pada perusahaan – perusahaan di Amerika. Hasil dari survey tersebut menunjukkan bahwa metode pengukuran error yang paling sering digunakan ialah MAPE. Armstrong & Collopy (1992) melakukan evaluasi terhadap beberapa metode pengukuran error yaitu RMSE, MdAPE, MAPE, GMRAE, MdRAE, serta Percent Better dan memberikan rekomendasi metode pengukuran yang terbaik pada konteks tertentu. Kemudian Makridakis (1993) mengajukan metode pengukuran error yang merupakan modifikasi dari MAPE, yang disebut Symmetric MAPE (sMAPE). Namun, Goodwin & Lawton (1999) memberikan review terkait kelemahan metode sMAPE. Selanjutnya, Coleman & Swanson (2007) melakukan evaluasi terhadap metode R-MAPE, yang kemudian dibandingkan dengan MAPE oleh Swanson & Tayman (2007). Dalam melakukan pengukuran besaran error yang ada saat ini, terdapat beberapa metode pengukuran yang telah dikembangkan (Dervitsiotis, 1984, Chopra, 2006). Namun, metode pengukuran error yang akan disorot pada penelitian kali ini ialah metode yang di dalam formulasinya mengandung tanda absolute / mutlak, seperti MAD, MAPE, s-MAPE dan sebagainya. Keberadaan tanda absolut dalam formulasi metode pengukuran error tersebut mengindikasikan bahwa konsekuensi untuk nilai
error positif dan error negatif memiliki besaran yang sama, yang selanjutnya disebut sebagai penalty. Namun kenyataannya, penalty untuk error positif bisa jadi berbeda dengan penalty untuk error negatif. Fenomena semacam inilah yang disebut sebagai asymmetric loss function (Diebold, 2001). Telah banyak penelitian yang dilakukan terkait dengan konsekuensi akibat error peramalan atau asymmetric loss function. Beberapa model telah dikembangkan untuk menghitung nilai asymmetric loss function. Granger (1969) memperkenalkan sebuah model asymmetric loss function yang disebut LINLIN Loss Function. Christoffersen & Diebold (1994,1997) menghitung optimal predictor dan pseudo-optimal predictor pada kasus asymmetric loss function Selanjutnya, Ulu (2007) membandingkan antara optimal predictor dengan pseudo-optimal predictor pada LINLIN Loss Function dengan menggunakan nilai bobot yang ditentukan sendiri. Pada penelitian ini, penulis ingin menyampaikan konsep evaluasi terkait dengan metode peramalan yang terbaik pada kasus asymmetric loss function dengan mempertimbangkan penalty dari setiap konsekuensi yang dihasilkan oleh sebuah metode peramalan. Selain masalah tersebut, penulis melihat masih terdapat hal yang dapat diimprove terkait metode pengukuran error peramalan, khususnya pada metode trendline. Adanya update data serta kecenderungan metode least square dalam membentuk fitting line dengan nilai error terkecil untuk model dengan derajat polinomial tertinggi tersebut tidak dapat mencerminkan nilai error yang sebenarnya. Sehingga nilai error yang selama ini diukur ialah potensial error. Penelitian ini ingin menyampaikan konsep evaluasi metode pengukuran error khususnya pada model trendline dalam konteks performance error yang dibandingkan dengan metode pengukuran error saat ini. 2. Metodologi Penelitian Secara umum, metodologi penelitian ini akan dibagi menjadi dua bagian, yakni metodologi terkait penelitian tentang pengukuran error pada kasus asymmetric loss function dan metodologi terkait penelitian tentang pengukuran
actual versus performance error pada metode trendline. Metodologi terkait topik pengukuran error pada kasus asymmetric loss function dibagi menjadi 5 bagian, yaitu: 1. Studi Literatur Dalam bagian ini dilakukan telaah dan tinjauan pustaka dengan menggunakan sumber – sumber yang relevan yang meliputi jurnal internasional, buku, dan sumber lainnya yang relevan. Hal – hal yang ditelaah dalam studi literatur ini ialah karakteristik Loss Function, Asymmetric loss function, dan Pengukuran Error 2. Pengembangan Metode Pada tahap ini dilakukan pengembangan metode untuk pengukuran error pada kasus asymmetric loss function. Metode yang dikembangkan terkait dengan pendefinisian konsekuensi error dan penentuan besaran konsekuensi dari error peramalan. 3. Pengujian Data Setelah dilakukan pengembangan metode, kemudian dilakukan pengujian terhadap metode yang sudah dilakukan sebelumnya. Pengujian dilakukan pada set data numeric sebagai contoh studi kasus yang diangkat dalam penelitian ini. 4. Analisis Perbandingan Metode Pada bagian ini dilakukan analisis terhadap data yang telah diuji dengan menggunakan metode yang telah dibuat sebelumnya. Analisis juga dilakukan untuk perbandingan antara metode yang ada saat ini dengan metode yang telah dibuat. 5. Penarikan Kesimpulan Setelah dilakukan analisis, maka selanjutnya dilakukan penarikan kesimpulan untuk menjawab tujuan dari penelitian ini. Selain itu, diberikan pula saran untuk perbaikan penelitian di masa mendatang terkait pengukuran error pada kasus asymmetric loss function. Metodologi terkait pengukuran potential versus performance error pada metode trendline dibagi menjadi enam bagian, yaitu: 1. Studi Literatur Dalam bagian ini dilakukan telaah dan tinjauan pustaka dengan menggunakan sumber – sumber yang
relevan yang meliputi jurnal internasional, buku, dan sumber lainnya yang relevan. Hal – hal yang ditelaah dalam studi literatur ini ialah metode pengukuran error serta peramalan dengan model trendline. 2. Penyusunan Framework Pada bagian ini dilakukan penyusunan framework terkait metode pengukuran error. Penulis membagi menjadi dua jenis framework, yakni metode pengukuran error dalam konteks potential error dan metode pengukuran error dalam konteks performance error. 3. Pengujian Framework Setelah framework pengukuran error dalam konteks masing – masing disusun, selanjutnya dilakukan pengujian framework. Pengujian dilakukan terhadap set data numerik. Pengujian ini bertujuan untuk mengetahui letak perbedaan antara kedua konteks pengukuran error. 4. Analisis Perbandingan Framework Analisis dilakukan terhadap data yang telah diuji untuk masing – masing framework metode pengukuran error. Analisis dilakukan dengan melakukan perbandingan terhadap hasil yang diperoleh dari masing-masing konteks pengukuran error. 5. Penarikan Kesimpulan Setelah dilakukan analisis, maka selanjutnya dilakukan penarikan kesimpulan untuk menjawab tujuan dari penelitian ini. Selain itu, diberikan pula saran untuk perbaikan penelitian di masa mendatang terkait topik metode pengukuran error. 3. Pengukuran Error Pada Kasus Asymmetric Loss Function Dalam melakukan pengukuran besaran error yang ada saat ini, terdapat beberapa metode pengukuran yang telah dikembangkan. Namun, metode pengukuran error yang akan disorot pada penelitian kali ini ialah metode yang di dalam formulasinya mengandung tanda absolute / mutlak, seperti MAD, MAPE, s-MAPE dan sebagainya. Keberadaan tanda absolut dalam formulasi metode pengukuran error tersebut mengindikasikan bahwa konsekuensi untuk nilai
error positif dan error negatif memiliki besaran yang sama, yang selanjutnya disebut sebagai penalty. Namun kenyataannya, penalty untuk error positif bisa jadi berbeda dengan penalty untuk error negatif. Fenomena semacam inilah yang disebut sebagai asymmetric loss function (Diebold, 2001). Kasus asymmetric loss function merupakan kasus yang umum terjadi dalam praktik sehari - hari, sebagai contoh ialah kasus replenishment. Replenishment merupakan proses pemenuhan kembali stock setelah dipergunakan ataupun dijual. Pada konteks replenishment di sebuah perusahaan, besarnya jumlah barang yang harus dipenuhi dapat ditentukan dengan menggunakan pertimbangan jumlah demand. Namun informasi terkait jumlah demand yang tidak perfect menyebabkan perlunya dilakukan peramalan untuk menentukan jumlah demand pada periode yang akan datang, sehingga keputusan produksi didasarkan pada hasil peramalan. Jika hasil replenishment sama dengan hasil peramalan, maka keputusan replenishment yang dibuat sebenarnya merupakan hasil peramalan. Terkait dengan hasil peramalan, maka akan ada dua konsekuensi yakni terjadi surplus, yang ditandai dengan error negatif, atau terjadi shortages, yang ditandai dengan error positif. Penalty akibat error negatif bisa jadi berbeda dengan penalty akibat error positif. Karena perbedaan penalty antara konsekuensi error negatif dan error positif tersebut, maka diperlukan cara untuk evaluasi metode peramalan yang mengakomodasi penalty pada setiap konsekuensi pada kasus asymmetric loss function. Cara mengakomodasi penalty pada setiap konsekuensi dalam pemilihan metode peramalan di kasus asymmetric loss function ialah dengan memperhitungkan risiko kesalahan tersebut. Risiko dapat didefinisikan sebagai besarnya nilai yang ditanggung akibat kesalahan. Risiko memiliki dua sumbu yakni likelihood, yang dapat menunjukkan frekuensi atau percentage error negatif dan error positif, serta consequences yang dapat menunjukkan besar dampak yang ditimbulkan akibat error negatif dan error positif. Dengan demikian, profil risiko dari sebuah metode peramalan dapat diidentifikasi yang nantinya dapat digunakan sebagai dasar dalam pengambilan keputusan untuk memilih metode
peramalan terbaik dengan mempertimbangkan besaran penalty dari setiap konsekuensi. Secara umum, cara pemilihan metode peramalan terbaik berdasarkan perhitungan risiko dari pada kasus asymmetric loss function dapat digambarkan pada gambar dibawah ini: Asymmetric Loss Function
Error Negatif
Error Positif
Besaran Penalty Error Negatif
Besaran Penalty Error Positif
Perhitungan Risiko
Pemilihan Metode Peramalan Terbaik
Gambar 1. Perhitungan Risiko
Berikut ini merupakan formulasi dalam melakukan perhitungan besaran risiko dari kesalahan dalam peramalan.
Metode tersebut kemudian diujikan pada kasus replenishment untuk tiga jenis problem yang berbeda. Pengujian pertama dilakukan untuk kasus replenishment pada consumer product. Berikut merupakan hasil pengujian data tanpa dan dengan memperhitungkan risiko: Tabel 1. Perhitungan Perbandingan Kasus 1 MAD Linear MAD Kuadratik Rata - rata Risiko Linear Dengan Risiko Rata - rata Risiko Kuadratik Tanpa Risiko
419.4 409.07 2097 2179.93
Dari hasil tersebut terlihat bahwa ketika evaluasi metode dilakukan tanpa memperhitungkan risiko, maka keputusan metode
peramalan terbaik adalah metode kuadratik. Hal ini disebabakan karena metode tersebut menghasilkan nilai error yang terkecil. Namun, apabila dilihat dari perhitungan yang mengakomodasi risiko, maka metode terbaik ialah metode linear. Hal ini disebabkan karena metode tersebut menghasilkan nilai risiko error yang paling kecil. Pengujian tersebut menunjukkan bahwa besaran penalty akibat konsekuensi error negatif dan positif, yang kemudian ditunjukkan dalam profil risiko dari sebuah metode peramalan, ternyata dapat mempengaruhi hasil keputusan terkait pemilihan metode peramalan yang terbaik dan hal ini lebih mencerminkan situasi riil. Pengujian kedua dilakukan pada kasus replenishment untuk perishable product. Tujuan pengujian ini adalah untuk menunjukkan apakah pada kasus dengan konsekuensi yang sama, namun penalty yang diberikan berbeda, keputusan yang dihasilkan juga berbeda. Berikut merupakan hasil pengujian berikut merupakan hasil pengujian data tanpa dan dengan memperhitungkan risiko: Tabel 2. Perhitungan Perbandingan Kasus 2 MAD Linear MAD Kuadratik Rata - rata Risiko Linear Dengan Risiko Rata - rata Risiko Kuadratik Tanpa Risiko
479.40 479.39 14381.5 14382.2
Dengan hasil yang demikian, maka dapat dikatakan bahwa memahami dan menempatkan besaran penalty untuk konsekuensi yang tepat pada konteks yang tepat pula merupakan hal yang penting dalam melakukan evaluasi metode peramalan dengan menggunakan perhitungan risiko. Karena hal tersebut dapat mempengaruhi hasil keputusan terkait evaluasi metode untuk pemilihan metode peramalan yang terbaik yang telah dibuktikan pada pengujian kedua tersebut. Pengujian selanjutnya dilakukan pada kasus asymmetric loss function untuk consumer product dimana terdapat pergeseran konsekuensi. Pergeseran tersebut dapat disebabkan oleh perubahan policy dalam perusahaan, misalnya kebijakan safety stock. Berikut merupakan hasil pengujian data tanpa dan dengan risiko setelah adanya pergeseran konsekuensi:
Tabel 3. Perhitungan Perbandingan Kasus 3 MAD Linear MAD Kuadratik Rata - rata Risiko Linear Dengan Risiko Rata - rata Risiko Kuadratik Tanpa Risiko
419.40 409.07 13209.2 13057.1
Kasus tersebut menunjukkan bahwa memahami konteks konsekuensi menjadi sebuah hal penting. Karena ternyata risiko yang ditimbulkan akibat error negatif dan error positif tidak semata – mata dilihat berdasarkan nilai errornya saja, tetapi lebih berdasarkan risiko yang riil, yakni berupa nilai riil yang harus ditanggung akibat adanya kesalahan. Beberapa pengujian tersebut menunjukkan bahwa sebenarnya dalam melakukan pengambilan keputusan terkait pemilihan metode peramalan dengan mengakomodasi besaran penalty untuk masing – masing konsekuensi dapat dihitung dengan menggunakan konsep risiko yang ditimbulkan dari metode peramalan tersebut. Keputusan yang diambil terkait pemilihan metode terbaik dapat berbeda ketika didasarkan hanya pada nilai error dengan ketika didasarkan pada risiko yang ditimbulkan. Menetapkan besaran penalty untuk masing – masing konsekuensi yang tepat serta pemahaman terhadap konteks konsekuensi untuk melihat risiko dari sebuah metode peramalan menjadi hal yang penting untuk diperhatikan dalam melakukan evaluasi metode peramalan karena dapat mempengaruhi hasil keputusan untuk pemilihan metode peramalan yang terbaik. 4. Pengukuran Potetial versus Performance Error Pada Metode Trend line 4.1. Konsep Pengukuran Error Pada Kasus Asymmetric Los Function Menurut Diebold (2001), model trendline polinomial dengan derajat terkecil akan dapat menghasilkan nilai error terkecil pula. Karena dalam metode trendline dikenal mekanisme pembentukan fitting line dengan metode least square. Selain itu, adanya mekanisme update data menyebabkan model yang terbentuk akan selalu diperbarui sehingga nilai error yang dihasilkan pun jelas akan jauh lebih kecil. Pengukuran error semacam ini sebenarnya tidak mencerminkan nilai error yang sebenarnya,
Karena mekanisme yang demikian menghasilkan model baru dengan nilai fitting baru, sehingga nilai error yang dihasilkan menjadi terupdate pula. Karena model yang baru nantinya akan digunakan untuk meramalkan data di periode selanjutnya, maka hasil error yang didapatkan merupakan potensial error. Berikut ini merupakan hasil pengujian dengan menggunakan pengukuran potential error dihitunng berdasarkan nilai MAPE, MAD, MSE. Gambar 2. Nilai MAPE Pada Potensi Error
Gambar 3. Nilai MAD pada Potensi Error
Gambar 4. Nilai MSE pada Potensi Error
Dari hasil pengujian data yang telah dilakukan, dapat diketahui bahwa untuk setiap periode peramalan baik dengan model linear maupun dengan model kuadratik, nilai error yang dihasilkan oleh metode kuadratik lebih kecil daripada nilai error yang dihasilkan oleh model linear Pada beberapa periode terlihat bahwa model kubik lebih unggul dibandingkan dengan model kuadratik dengan memperlihatkan hasil nilai error baik MAPE, MAD, dan MSE yang lebih kecil. Namun pada beberapa periode lainnya, model kuadratik manghasilkan error terkecil, meskipun tidak sesering model kubik. Tetapi secara umum, model linear selalu menghasilkan nilai error yang lebih besar dibandingkan dua model lainnya yang memiliki derajat polinomial lebih tinggi. Hal ini bisa dipahami, karena sesuai dengan teori, dinyatakan bahwa model trendline dengan derajat polinomial lebih tinggi akan menghasilkan nilai error yang lebih kecil.. Peningkatan variabel yang ditunjukkan dengan peningkatan derajat polynomial akan dapat menurunkan total kuadrat errornya. Dalam model kuadratik, nilai error yang dihasilkan akan cenderung lebih kecil daripada nilai error yang dihasilkan dari model linear. Sehingga apabila dihitung rata – rata error yang terjadi, maka nilai rata – rata error model kuadratik akan lebih kecil dari model linear. Lebih jauh lagi, pada dasarnya dalam menentukan model peramalan dengan menggunakan metode trendline, dipilih model dengan garis fitting terbaik (best line). Penentuan garis fitting terbaik sebuah model dari metode trendline menggunakan metode kuadrat terkecil (Least square Method). Garis fitting terbaik merupakan garis yang memberikan total deviasi kuadrat terkecil pula. Seperti diketahui, bahwa apabila terdapat sebaran data dari sampel data, maka akan terbentuk banyak garis dari sebuah model pada metode trendline. Sebuah model tidak hanya memberikan sebuah garis, namun akan memiliki banyak kemungkinan fitting line. Untuk menemukan fitting line, maka dilakukan estimasi nilai koefisien regresi dari fitting line tersebut. nilai koefisien regresi yang dipilih ialah nilai yang memenuhi minimum total kuadrat terkecil. Nilai keofisien regresi yang dipilih dari banyak kemungkinan fitting line dari sebuah model ialah
yang mampu meminimumkan jumlah kuadrat error terkecil. Sehingga semakin kecil jumlah kuadrat error yang dihasilkan, semakin baik, dan garis tersebut yang akan dipilih sebagai fitting line. Selain itu, adanya mekanisme update data setiap periode menyebabkan model akan ikut terupdate pula sehingga menghaislkan model dan nilai fitted data yang baru. kecenderungan ini akan menyebabkan nilai error akan semakin kecil. Karena dengan adanya model baru, maka fitting line akan terbentuk baru pula dengan nilai total kuadrat error yang lebih minimum. Hal inilah yang menyebabkan model dengan derajat polinomial lebih tinggi akan menghasilkan nilai error yang lebih kecil pada setiap periode dibandingkan dengan model linear. 4,2, Konsep Pengukuran Error Performance Untuk melakukan pengukuran sehingga mampu menunjukkan performansi model yang sesungguhnya, perlu dilakukan penyusunan framework pengukuran secara performance error. Langkah – langkah dalam melakukan pengukuran error secara performance error ialah sebagai berikut: a. Pembentukan model trendline Berdasarkan data aktual yang tersedia, dapat dibuat model trendline. Ada beberapa model trendline yang lazim digunakan dalam peramalan seperti model linear, kuadratik. Exponensial dan sebagainya. Beberapa model tersebut dibuat berdasarkan data aktual. b. Menggunakan model untuk meramalkan periode mendatang Setelah beberapa model trendline dibuat, maka model yang terpilih ialah model dengan nilai error terkecil. Model inilah yang dipergunakan untuk meramalkan data pada periode mendatang. c. Cek data aktual periode tersebut Setelah periode tersebut berjalan, maka dilakukan cek data aktual untuk periode tersebut. Data aktual tersebut dicatat untuk dicocokkan dengan data peramalan. d. Catat sebagai error performance Data aktual untuk periode tersebut kemudian dicatat dan dibandingkan dengan nilai hasil peramalan dengan model terpilih. Model terpilih merupakan
model yang dijadikan sebagai acuan untuk peramalan pada periode tersebut. Nilai error yang dihasilkan merupakan selisih antara nilai aktual dengan nilai peramalan dengan model tersebut. Bentuk formulasi untuk menghitung nilai error tersebut ialah: Dimana: : performance error ep yaktual : nilai aktual dari data pada periode tertentu yf* : nilai peramalan dari data pada periode tertentu dengan model terpilih Pengukuran performansi error dilakukan dengan cara menghitung nilai error yang terjadi untuk peramalan pada periode dimana dilakukan tracking error. Berikut merupakan hasil pengukuran error performance dengan menggunakan nilai MAPE, MAD, dan MSE. Gambar 5. Nilai MAPE Pada Performance Error
Gambar 6. Nilai MAD Pada Performance Error
Gambar 7. Nilai MSE Pada Performance Error
Berikut disajikan perbandingan nilai performance error untuk 10 periode pada tiga macam model trend line. Gambar 8. Perbandingan Performance Error
Berdasarkan pengujian, didapatkan bahwa nilai peramalan yang dihasilkan dari sebuah metode trendline dengan model kuadratik atau kubik akan cenderung lebih kecil apabila dibandingkan dengan nilai hasil peramalan model linear. Hal ini sesuai dengan teori sebelumnya, bahwa model dengan derajat polinomial lebih tinggi akan menghasilkan total kuadrat error lebih kecil dibandingkan model dengan derajat polinomial yang lebih rendah. Sehingga apabila dikaitkan dengan pembentukan fitting line, maka fitting line terpilih merupakan fitting line dengan total kuadrat terkecil dari semua kemungkinan fitting line sebuah model tersebut. Nilai peramalan tersebut untuk model kuadratik dan kubik memang lebih kecil, namun tidak menjamin akan menghasilkan nilai error performance yang lebih kecil pula. Karena pada dasarnya, nilai error performance diperoleh berdasarkan deviasi antara nilai aktual dengan nilai peramalan pada periode tersebut dengan menggunakan model terpilih. Sehingga, meskipun
nilai peramalan yang dihasilkan lebih kecil, namun apabila nilai aktual lebih besar, maka deviasi yang dihasilkanpun akan menjadi lebih besar. Sehingga error performance untuk setiap periode akan menjadi lebih besar. Selain itu, tidak adanya mekanisme update data juga membuat nilai error yang terbentuk menjadi lebih besar. Karena dengan tidak adanya update data, maka tidak ada pembaruan model yang menyebabkan nilai error menjadi lebih kecil karena terbentuk fitting line yang baru. Hal inilah yang menjadi keunggulan pengukuran error performance dibandingkan dengan pengukuran error saat ini. Namun, kelemahannnya ialah akan menjadi sulit melakukan pengukuran error performance apabila belum ada data yang dilakukan peramalan untuk pertama kalinya. Hal ini membuat tidak efisien karena harus melakukan peramalan untuk periode – periode sebelumnya. 5. Kesimpulan dan Saran Dari penelitian ini dapat disimpulkan bahwa melakukan pengambilan keputusan terkait pemilihan metode peramalan dengan mengakomodasi besaran penalty untuk masing – masing konsekuensi dapat dihitung dengan menggunakan konsep risiko yang ditimbulkan dari metode peramalan tersebut. Keputusan yang diambil terkait pemilihan metode terbaik dapat berbeda ketika didasarkan hanya pada nilai error dengan ketika didasarkan pada risiko yang ditimbulkan. Menetapkan besaran penalty untuk masing – masing konsekuensi yang tepat serta pemahaman terhadap konteks konsekuensi untuk melihat risiko dari sebuah metode peramalan menjadi hal yang penting untuk diperhatikan dalam melakukan evaluasi metode peramalan karena dapat mempengaruhi hasil keputusan untuk pemilihan metode peramalan yang terbaik. Kemudian, pengukuran error pada metode trendline yang ada saat ini menunjukkan bahwa model dengan polinomial derajat yang lebih tinggi selalu menghasilkan nilai error yang lebih kecil karena peningkatan derajat polinomial akan meningkatkan peluang nilai koefisien regresi dari variabelnya untuk tidak nol, sehingga nilai fitted akan mendekati aktual dan menyebabkan total kuadrat error menjadi lebih minimum. Selain itu adanya mekanisme update data juga
menyebabkan terbentuknya fitting line baru yang membuat nilai error menjadi lebih kecil. Sehingga pengukuran semacam ini kurang tepat karena tidak menunjukkan performansi aktual. Untuk mengetahui performansi aktual dari sebuah model peramalan trendline, dapat dilakukan pengukuran berdasarkan error performance. Dari hasil pengujian dapat disimpulkan bahwa model kuadratik dan kubik tidak selalu menghasilkan nilai error performance yang lebih kecil pada periode tracking tersebut dibandingkan dengan model linear. Secara rata – rata, nilai MAPE, MAD, dan MSE pada pengukuran error performance dengan model linear lebih kecil dibandingkan dengan model kuadratik dan kubik. Adapun saran yang dapat dilakukan untuk penelitian ke depan ialah peneliti dapat melakukan pengembangan yang lebih mendalam terkait pengukuran error pada kasus asymmetric loss function, khususnya pada pengembangan metode penentuan besaran penalty untuk masing – masing konsekuensi dari error. Melakukan aplikasi pengukuran error performance pada kasus – kasus yang lebih variatif agar dapat ditemukan perbedaan yang lebih mendalam. 6. Daftar Pustaka Armstrong, J. S., & Collopy, F. (1993). Error Measures for Generalizing about forecasting methods: Empirical comparisons. International Journal of Forecasting , Hal. 69-80. Chopra, S., & Meindl, P. (2006). Supply Chain Management Strategy, Planning, and Operation. Prentice Hall. Christoffersen, P. F., & Diebold, F. X. (1996). Further Results on Forecasting and Model Selection Under Asymmetric Loss. Journal of Applied Econometrics , 561-572. Christoffersen, P. F., & Diebold, F. X. (1994). Optimal Prediction Under Asymmetric Loss. Economic Theory , 808-817. Coleman, C. D., & Swanson, D. A. (2007). On MAPE-R as a measure of crosssectional estimation and forecast accuracy. Journal of Economic and Social Measurement , Vol.32, Hal. 219-233.
Dervitsiotis, K. N. (1984). Operations Management. McGraw-Hill. Diebold, F. X. (2001). Elements of Forecasting. South Western. Elliot, G., Komunjer, I., & Timmermann, A. (2004). Estimation and Testing of Forecast Rationality under Flexible Loss. Review of Economic Studies , Hal. 1107-1125. Goodwin, P., & Lawton, R. (1999). On the asymmetry of the symmetric MAPE. International Journal of Forecasting , 405-408. Granger, C. (1969). Prediction with a generalized cost of error function. Operational Research Quarterly , Hal.199-207. Lee, T.-H. (2007). Loss Functions in Time Series Forecasting. California: University of California. Makridakis, S. (1993). Accuracy measures: Theoretical and Practical Concerns. International Journal of Forecasting , Hal.522-529. Mentzer, J. T., & Cox, J. E. (1984). Familiarity, application, and performanceof sales forecasting techniques. Journal of Forecasting ,Hal. 37-42. Mentzer, J. T., & Kahn, K. (1995). Forecasting Technique Familiarity,Satisfaction, Usage, and Application. Journal of Forecasting Vol 14,Hal. 465-476. Montgomery, D. C. (2002). Applied Statistics and Probability For Engineers. John Willey & Sons. Paul Goodwin, R. L. (1999). On the Asymmetry of Symmetric MAPE. International Journal of Forecasting , 405-408. Rob J. Hyndman, A. B. (2006). Another Look at Measures of Forecast Accuracy. Interbational Journal of Forecasting , 679-688. Swanson, D. A., Tayman, J., & Bryan, T. M. (2007). MAPE-R: A Rescaled Measure of Accuracy for Cross-Sectional Forecasts. San Diego: University of California. Tshuciya, Y. (2012). Evaluating Japanese corporate executives’ forecasts under
an asymmetric. Economic Letters , Vol. 116, Hal. 601-603. Ulu, Y. (2007). Optimal Prediction under LINLIN Loss : Empirical Evidence. International Journal of Forecasting , Vol. 23, Hal.07-715. Vollmann, T. E., Berry, W. L., & Whybark, D. C. (1997). Manufacturing Planning and Control System. McGraw-Hill, Ohio.
