THE 5TH URECOL PROCEEDING
18 February 2017
UAD, Yogyakarta
APLIKASI EXTREME LEARNING MACHINE UNTUK PERAMALAN DATA TIME SERIES (STUDI KASUS: SAHAM BANK BRI) Virgania Sari Akademi Statistika Muhammadiyah Semarang email:
[email protected]
1
Abstract The machine learning technique has become a hot area of reaserch over the past years, wich is attributed to the growing research activities and significant contributions made by nomerous researches around the world. Recently, Extreme Learning Machine (ELM) was proposed as a non-iterative learning algorithm for Single-Hidden Layer Feed Forward Neural Network to increse speed of learning and accuracy of network. The daily BRI closing price stocks was forecast in this research. Using ELM methodhad best accuracy in RMSE 21.5858 and 0.38309 second of training. While, using Feedforward Neural Network had best accuracy in RMSE 36.2965 and 0.630029 second of training. Based on the result of experiment, seem the ELM is capable of giving a good prediction accuracy and speed of learning. Keywords: forecasting, extreme machine learning, feed forward neural network, single-hidden layer feed forward neural network, time series 1. PENDAHULUAN Artificial Neural Network telah banyak diaplikasikan untuk peramalan, regresi dan klasifikasi. Beberapa dekade terakhir Artificial Neural Network telah banyak dikembangkan. Salah satunya oleh Huang (2006)[2] mengusulkan algoritma pembelajaran baru untuk pembalajaran yang disebut Extreme Learning Machine (ELM). Elm mengatasi permasalahan pada algoritma backpropagation dalam penentuan gradien. Pada algoritma ELM bobot dan bias pada input dipilih secara acak. Formulasi ELM dapat memecahkan permasalahan pada sistem persamaan linier dengan bias pada layer hidden yang tidak diketahui. Solusi dari persamaan linier ditentukan dengan MoorePenrose generalized pseudo inverse.
ELM merupakan jaringan saraf tiruan Feed Forward dengan satu hidden layer atau lebih dikenal dengan Single Layer Feed Forward Neural Network.ELM memiliki kelebihan dalam learning speed, sertamempunyai tingkat akurasi yang lebih baik.Sehingga diharapkan dengan metode ini outputyang dihasilkan mampu mendekati kenyataan danpenyelesaian yang optimal serta waktu komputasiyang relatif singkat.
PT Bank Rakyat Indonesia (BRI) Tbk merupakan salah satu perusahan perbankan terbesar di Indonesia.Sejak 1 Agustus 1992 berdasarkan Undang-Undang Perban-kan No. 7 tahun 1992 dan Peraturan Pemerintah RI No. 21 tahun 1992 status BRI berubah menjadi perseroan terbatas. Kepemilikan BRI saat itu masih 100% di tangan Pemerintah Republik Indonesia. Pada tahun 2003, Pe-merintah Indonesia memutuskan untuk menjual 30% saham bank ini, sehingga menja-di perusahaan publik dengan nama resmi PT. Bank Rakyat Indonesia (Persero) Tbk., yang masih digunakan sampai dengan saat ini. Saham PT BRI Tbk merupakan saham yang memiliki kapitalisasi terbesar setelah saham Telkom di Bursa Efek Jakarta (BEJ), dan kaptalisasinya terus meningkat. 2. METODE PENELITIAN
a. Extreme Machine Learning (ELM) Metode ELM mempunyai model matematis yang berbeda dari jaringan syaraf tiruan feedforward. Modelmatematis dari ELM lebih sederhana dan efektif. Berikutmodel
1294
THE 5TH URECOL PROCEEDING
18 February 2017
matrematis dari ELM. Untuk N jumlah sampel yang berbeda ( , ) = [
,⋯,
= [
] ∈
Standar SLFNs dengan jumlah hidden nodes sebanyak N dan activation function ( )dapatdigambarkan secara matematis sebagai berikut : =
∙
=
Dimana :
] merupakan =[ , ,⋯, vektor dari weight yangmenghubungkan i thhidden nodes dan input nodes. ] merupakan = [ , ,⋯, weight vector yang menghubungkan i th hidden dan output nodes. threshold dari i th hidden nodes.
=
Dimana terdapat ∙
+
−
,
,
(
,⋯, , ,⋯, ∙ + ) ⋯ ⋮ ⋯ ) ∙ + ⋯ =
⋮
=
⋮
,
(
(
,⋯, ∙ ∙
⋮
) +
+
)
)
Pada ELM input weight dan hidden bias ditentukansecara acak, maka output weight yang berhubungandengan hidden layer dapat ditentukan =
Dimana merupakan matriks MoorePenroseGeneralized Invers dari matriks H sedangkanmatriks H merupakan matriks yang tersusun darioutput masing-masing Hidden Layer dan T adalahmatriks target. Data dinormalisasi terlebih dahulu dalam rentang [0,1] jika fungsi aktifasi yang digunakan sigmoid biner. Sedangkan jika fungsi aktivasi adalah sigmoid bipolar, maka data akan dinormalisasi dalam rentang [-1,1].
=0
sehingga
= , = 1,2, ⋯ ,
=( (
H pada persamaan di atas adalah hidden ( ∙ + layer output matriks )menunjukkan output darihidden neuron yang berhubungan dengan input , sedangkan merupakan matrix dari output weight dan Tmatrix dari target atau output .
merupakan inner produk dari dan
SLFNs dengan N hidden nodes dan activation function ( ) diasumsikan dapat meng-approximate dengantingkat error 0 atau dapat dinotasikan sebagai berikut :
=
Dimana
+
= 1,2, . . . ,
∙
sederhana sebagai
] ∈
,⋯,
UAD, Yogyakarta
Persamaan diatas dapat dituliskan secara
Parameter yang akan diinputkan antara lain yaitu jumlah hidden, max epoch dan target error. Untuk stopping condition,
1295
×
THE 5TH URECOL PROCEEDING
18 February 2017
yaitu iterasi = maksimal epoch atau MSE ≤ target error. Satu epoch mewakili satu kali perhitungan untuk semua data pada data training.
dimana ,
b. Feedforward Neural Network
= 1,2, ⋯ , =
,
+
=
+
=
) , dimana
= 1,2, ⋯ , ℎ,
ataudapatditulis, +
( , )
= bobot pada input =fungsiaktivasipada layer hidden
ℎ , = unit hidden
= bobot pada unit hidden
= bobot bias pada unit hidden = fungsi aktivasi pada layer output = output jaringan
= vektor yang memuat semua nilai dan γ. Berikutadalahskemafeedforward neural networkdengan unit neuron hiddendan unit neuron hidden.
Dalamsebuahjaringanfeedforward, variabelpenjelaspertamasecarasimultanme ngaktivasi unit hidden melalui fungsi aktivasi dan menghasilkan unit hiddenℎ dimana = 1,2, ⋯ , ,kemudianmeng-aktifkan unit output melaluifungsiaktivasi untukmenghasilka n output jaringan . +∑
= input jaringan
= bobot bias pada input
Jaringansyaraftiruandapatdiinterpretasikansebagairegresinonlinier yang mencirikanhubunganantaravariabeldepend en (target) y dan nvektordarivariabelpenjelas (input) x. jaringansyaraftiruandibangundenganmeng guanakanfungsi linier dasarmelaluisebuahtruktur multilayer. Ada tigajenis layer yang digunakan, yakni layer input, layer hidden dan layer output. Layer input sebagai layer penerimasinyal, layer output tempatsolusiterhadapmasalah-masalah yang ditemukandan layer tersembunyi(hidden) yang memisahkan layer input dan layer output.
ℎ, =
UAD, Yogyakarta
,
Gambar 1. Feedforward Neural Network
AlgoritmaLavenberg-Marquardt memberikan solusi numerik untuk minimasi dengan pendekatan pada turunan kedua tanpa menghitung matriks Hessian. Fungsi objektif dalam bentuk error kuadrat: ( )= dimana network, =[ , 1296
1 2
=
1 2
(
= 1,2, ⋯ , .
− ) ,
adalah output pada neural target dan , ⋯ , ] berisi bobot dan
THE 5TH URECOL PROCEEDING
18 February 2017
bias pada jaringan. Padametode Newton fungsiobjektifdimi-nimumkan dengan ketika ( ) =
=
dan
− ⁻¹
( )
( ) gradien
dari ( ) maka matriks Hessian dapat diaproksimasi dengan ≈ ′ dan gradient dapat dihitung dengan = ′ dimana elemen matriks Jacobi berisi turunan pertama fungsi objektif terhadap bobot yang bersesuaian, dan adalah eror jaringan.
Algoritma Lavenberg-Marquardt dapat diaproksimasi sebagai berikut. =
dimana parameter.
−(
+
adalah
)
′
learning
Learning parameter Nilai learning parameter ≠ 0, diturunkan setelah langkah sukses (fungsi objektif mengecil) dan ditingkatkan hanya ketika fungsi objektif meningkat. Dengan cara ini, fungsi objektif selalu diturunkan pada setiap iterasi. Kriteria penghentian Selama proses belajar, bobot dalam jaringan terus menerus disesuaikan. Proses belajar akan berhenti jika eror yang dihasilkan telah mencapai minimum yang diinginkan.
UAD, Yogyakarta
dibanding-kan dengan konvensional Feed-forward Network(FNN).
model Neural
Datayang digunakan harga saham penutupan harian BRI pada 1 Januari 2016 -24 Januari 2017. Data akan dibagi menjadi dua yakni data untuk training (pembelajaran) 1 Januari 2016–9 Nopember 2016 dan data untuk peramalan 10 Nopember– 24 Januari 2017. Data ini digunakan sebagai input jaringan yakni historis harga saham penutupan harian Bank BRI. Selanjutnya data untuk membangun jaringan dibagi menjadi dua yakni data untuk training untuk proses belajar Data training diambil secara acak sebanyak 80% dan data validasi 20%. Hasilperamalanbergantungpadaarsitekt urjaringan yang dibangun,sepertibanyak layer yang digunakan, banyak neuron pada layer danmetodetrainingyang digunakan. Arsitekturjaringan yang digunakantelahdijelaskansebelumnya. Selanjutnyadilakukan trial danerroruntukmenentukanbanyakneuron hidden.Hasil yang diperolehtidakkonstan (berubah-ubah). Hanyahasilterbaikyang ditampilkan. Kemudiandarihasilinidipilihbanyak neuron hidden yang menghasilkanRMSE terkecil, hasiliniakandigunakanuntuksimulasi trading. Berikuthasilpemilihan neuron yang telahdilakukan. Percobaandilakukanhingga 15 neuron pada layer hidden. Mengingatuntuk neuron hidden yang lebihbesarjaringantidakdapatmenangkapke teraturanpola.
3. HASIL DAN PEMBAHASAN
Pada penelitian ini dilakukan peramalan harga saham penutupan harian Bank Rakyat Indonesia (BRI) dengan Extreme Learning Machine (ELM) dan kemudian
Tabel 1. Nilai Statistik Pendugaan RMSE dan time
1-1-1
1297
RMSE ELM
CPU time
28.5363
0.216551
1-1-1
RMSE FNN
CPU time
61.1259
1.999368
THE 5TH URECOL PROCEEDING
0.231626 0.28993 0.204265 0.242221 0.202555 0.38309 0.212811 0.382176 0.223350 0.180994 0.267158 0.276456 0.270503 0.256515
34.2915 33.2492 29.9661 21.7152 34.0556 21.5858 21.8898 30.8881 25.2986 34.1280 31.7398 22.8174 25.4653 26.8373
1-2-1 1-3-1 1-4-1 1-5-1 1-6-1 1-7-1 1-8-1 1-9-1 1-10-1 1-11-1 1-12-1 1-13-1 1-14-1 1-15-1
0.622355 0.644542 0.817766 0.610139 0.500346 0.560457 0.630029 0.628102 0.639208 0.638941 0.696993 0.508054 0.726319 0.541692
42.4704 39.2149 38.0613 36.9906 37.9243 36.6394 36.2965 37.4471 37.1214 38.8855 37.8409 39.0746 37.0914 38.1577
Tabel diatas menunjukkan nilai RMSE dan waktu pengerjaan peramalan dengan ELM dan FNN. Dari hasil diatas dipilih yang terbaik. Arsitektur jaringan yang dipilih yakni yang menghasilkan RMSE terkecil Hasil peramalan dengan ELM rata-rata menggunakan waktu training yang lebih cepat dibandingkan dengan FNN. Sementara untuk akurasi peramalan ELM menghasilkan RMSE lebih kecil dibandingkan dengan FNN dengan MarquardtLavemberg Algorithm. PadaarsiktekturjaringanELMjaringande nganarsitektur1 hidden nodes pada layer input, 7 nodes pada layer hidden, dan 1 node pada layer output. Nilai RMSE sebesar21.5858denganwaktupengerjaan 0.38309detik. Hasil peramalan sebagai berikut. x 10
30
BBRI Stoks
y
40
50
0
10
20
30
waktu
40
50
y forecast
akurasi peramalan dan kecepatan pemelajaran. Pada penelitian ini ELM dibandingkan dengan model konvensional FNN dengan algoritma Marquardt-Lavenberg pada pembelajaran. Algoritma MarquardtLavenbergmemi-liki keunggulan akurasi dibanding algoritma lainnya dalam Bacpropagation. Peramalan harga penutupan harian saham BRI dengan ELM memiliki nilai RMSE sebesar 21.5858 dan 0.38309 detik dalam proses belajar.Sedangkan, dengan menggunakan FNN memiliki nilai RMSE 36.2965 and 0.630029 detik dalam proses belajar. Rata-rata waktu belajar pada ELM lebih cepat, dengan kata lain ELM lebih akurat dan cepat dalam proses pembelajaran.
1.05
waktu
1.1
4. KESIMPULAN ELM dapat diaplikasikan dalam memprediksi harga penutupan harian saham BRI yang diperdagangan pada Bursa Efek Jakarta. Elm memiliki keunggulan dalam
1.1
20
1.15
y
1.15
10
1.2
Gambar 2. Peramalan menggunakan ELM
1.2
0
x 10
1.25
1
1.25
1
ANN with Marquardt Levenberg Alghorithm
4
1.3
1.05
Extreme Learning Machine Model
4
1.3
UAD, Yogyakarta
input, 7 nodes pada layer hidden, dan 1 node pada layer output. Nilai RMSE sebesar36.2965denganwaktupengerjaan0. 630029 detik. Hasil peramalan sebagai berikut.
BBRI Stoks
1-2-1 1-3-1 1-4-1 1-5-1 1-6-1 1-7-1 1-8-1 1-9-1 1-10-1 1-11-1 1-12-1 1-13-1 1-14-1 1-15-1
18 February 2017
60
y forecast
Gambar 2. Peramalan menggunakan ELM
PadaarsiktekturjaringanELMjaringande nganarsitektur1 hidden nodes pada layer
5. REFERENSI [1] Ding, Shifei, u, Xinzheng & Nie, Ru. “Extreme Learning Machine adn Its Application”. Springer-Verlag London. 2013.
1298
60
THE 5TH URECOL PROCEEDING
18 February 2017
[2] Huang, Guang-Bin, Zhu, Qin-Yu & Siew, Chee-Kheing. “Extreme Learning Machine: Theory and Application”.2006 [3] Rampal, Singh & Balasundaram, S. “Application of Extreme Learning Method for Time Series Analysis”. International Journal of Intellegent Technology. [4] Sulistijanti, Wellie & Sari, Virgania. “Perbandingan Algoritma Resilient dan Marquardt Lavenberg untuk Memprediksi Harga Kurs”. Median Jurnal, AIS-M. 2014. [5] Vishwakarma, Virendra P. & Gupta, M. N. “A New Learning Algorithm for Single Hidden Layer Feed Forward Neural Network”. International Journal of Computer Applications (0975 – 8887) Volume 28– No.6, August 2011 [6] Wei, William W.S.”Time Series Analysis”. Second Edition. Pearson Education Inc. 2006 [7] https://finance.yahoo.com/quote/BBRI. JK [8] https://id.wikipedia.org/wiki/Bank_Rak yat_Indonesia [9] https://www.mathworks.com
1299
UAD, Yogyakarta
