BAB II. LANDASAN TEORI
2.1. Teknik Informatika Secara umum teknik informatika (computer science) adalah ilmu yang mempelajari dasar-dasar teoritis dari informasi dan komputasi. Teknik informatika juga mencakup teknik-teknik praktis untuk implementasi dan aplikasi ke dalam sistem komputer. (Comer, Gries, Mulder, Tucker, Turner, & Young, 1989)
2.1.1. Taksonomi Teknik Informatika IEEE Computer Society mengelompokkan kata kunci teknik informatika berdasarkan Association for Computer Machinary (IEEE Computer Society). Berikut adalah taksonomi kata kunci utamanya: 1. Literatur umum 2. Piranti Keras 3. Organisasi Sistem Komputer 4. Piranti Lunak / Rekayasa Piranti Lunak 5. Data 6. Teori Komputasi 7. Matematika Komputasi 8. Sistem dan Teknologi Informasi 9. Metodologi Komputasi 10. Aplikasi Komputer
5
6
11. Computing Milieux Taksonomi teknik informatika dijelaskan lebih lengkap pada lampiran bersama dengan hasil pengumpulan data.
2.2. Data Mining Menurut Vercellis istilah data Mining merujuk pada keseluruhan proses yang terdiri dari pengumpulan dan analisis data, pengembangan model pembelajaran induktif dan adopsi praktek pengambilan keputusan serta konsekuensi dari tindakan berdasarkan pengetahuan yang diperoleh (Vercellis, 2009, p. 77). Kegiatan data mining dapat dibagi menjadi dua bagian utama penelitian, sesuai dengan tujuan utama dari analisisnya yaitu interpretasi dan prediksi (Vercellis, 2009, p. 78). -
Interpretasi. Tujuan interpretasi adalah untuk megindentifikasi polapola teratur dalam data dan untuk mengekspresikannya melalui aturan dan kriteria yang dapat dengan mudah dipahami oleh para alhi dalam domain aplikasi. Sebagai contoh, untuk sebuah perusahaan di industri ritel mungkin akan menguntungkan apabila bisa mengelompokkan para pelanggan yang setia berdasarkan profil pembelanjaan mereka. Segmen yang
dihasilkan
dengan
cara
ini
terbukti
berguna
dalam
mengidentifikasi relung pasar baru dan mengarahkan promosi pemasaran perusahaan di masa depan.
7
-
Prediksi. Tujuan dari prediksi adalah untuk mengantisipasi nilai dimana variabel acak akan mengasumsikan masa depan atau memperkirakan kemungkinan kejadian di masa depan. Sebagai contoh, sebuah perusahaan retail dapat memprediksikan penjualan produk tertentu untuk minggu-minggu berikutnya. Sebagian besar teknik data mining berasal dari nilai sekumpulan variabel yang berkaitan dengan entity di dalam database. Sebagai contoh, model data mining dapat menunjukkan bahwa kemungkinan seorang pelanggan akan melakukan pembelian lagi di masa depan tergantung pada fitur-fitur seperti usia, pekerjaan, dan lain-lain.
2.2.1. Aplikasi Data Mining Data mining dapat diterapkan pada berbagai domain, dari kontrol proses pemasaran dan manufaktur sampai kepada pembelajaran faktor risiko dalam diagnosis medis, dari evaluasi efektivitas obat baru sampai deteksi penipuan (Vercellis, 2009, p. 81). -
Pemasaran Beberapa aplikasi yang berhubungan dengan pemasaran adalah: •
Identifikasi segmen pelanggan untuk mengarahkan promosi ke target yang benar.
•
Prediksi tingkat tanggapan positif pelanggan terhadap promosi pemasaran.
•
Interpretasi dan pemahaman perilaku pembelian pelanggan.
•
Analisis keranjang pasar (market basket analysis)
8
-
Deteksi Penipuan Penipuan dapat mempengaruhi industri yang berbeda seperti telepon, asuransi (klaim palsu) dan perbankan (penggunaan kartu kredit dan cek bank secara ilegal)
-
Evaluasi Risiko Tujuan dari analisis risiko adalah untuk memperkirakan risiko yang berhubungan dengan keputusan masa depan. Misalnya, dengan menggunakan pengamatan terakhir yang tersedia, sebuah bank dapat mengembangkan model prediksi untuk menentukan apakah tepat untuk memberikan
pinjaman
uang
atau
kredit
rumah,
berdasarkan
karakteristik pemohon. -
Text Mining Data mining dapat diterapkan untuk berbagai jenis teks, yang mewakili data tidak terstruktur, dengan tujuan untuk mengklasifikasikan artikel, buku, dokumen, email, dan halaman web. Contohnya adalah mesin pencari web. Aplikasi teks lainnya adalah penyaring pesan email.
-
Pengenalan Citra Klasifikasi gambar digital, baik statis maupun dinamis, adalah sebuah subyek yang menarik baik untuk kepentingan teoritis dan aplikasi. Hal ini berguna untuk mengenali karakter tulisan, membandingkan dan mengidentifikasi wajah manusia, serta deteksi perilaku mencurigakan melalui kamera video pengawas.
9
-
Web Mining Web mining dapat berguna untuk analisis situs e-commerce, dimana menawarkan pengetahuan mengenai halaman yang paling populer.
-
Diagnosis Medis Model pembelajaran adalah alat bantu dalam bidang medis untuk deteksi dini penyakit berdasarkan hasil pengujian klinis. Analisis citra untuk tujuan diagnosis adalah salah satu bidang penelitian yang saat ini sedang berkembang.
2.2.2. Metodologi Analisis Data Mining Menurut Vercellis, ada tujuh kegiatan dasar data mining (Vercellis, 2009, p. 90), yaitu: -
Karakterisasi dan Diskriminasi Sebelum mengembangkan model klasifikasi, ada baiknya melakukan analisis eksplorasi. Tujuannya ada dua. Yang pertama adalah untuk mendapatkan karakterisasi dengan cara membandingkan distribusi dari nilai-nilai atribut yang dimiilki oleh kelas yang sama. Yang ke dua adalah untuk mendeteksi perbedaan melalui perbandingan distribusi dari nilai-nilai atribut yang dimiliki oleh kelas yang berbeda.
-
Klasifikasi Teknik klasifikasi merupakan teknik yang paling umum digunakan untuk data mining. Klasifikasi melihat perilaku dan atribut kelompok yang telah ditentukan. Data mining dapat menetapkan klasifikasi data baru dengan memeriksa data yang sudah diklasifikasian dan
10
menggunakan hasil tersebut untuk menyimpulkan suatu set aturan. Aturan ini kemudian akan diterapkan pada data yang yang akan diklasifikasikan. Teknik ini sering menggunakan induksi yang terawasi yaitu mempekerjakan pelatihan kecil set catatan yang sudah diklasifikasikan untuk menentukan klasifikasi tambahan. Contohnya adalah untuk menemukan karakteristik pelanggan yang akan atau tidak akan membeli produk jenis tertentu. Beberapa algoritma klasifikasi adalah decision trees, jaringan syaraf, dan Naïve Bayes. -
Regresi Tidak seperti klasifikasi yang ditujukan untuk target yang terpisah regresi digunakan saat variabel sasaran memiliki nilai kontinu. Regresi digunakan untuk memetakan data dengan prediksi atribut bernilai real. Misalnya untuk memprediksi jumlah penjualan produk baru
atau
memprediksi kecepatan memutar (wind velocities) pada fungsi temperature dan tekanan udara. -
Time Series Terkadang atribut target berkembang dari waktu ke waktu dan oleh karena itu berhubungan dengan sumbu waktu. Misalnya, penjualan mingguan suatu produk dalam waktu 2 tahun mengandung 104 pengamatan.
-
Asosiasi Teknik data mining ini digunakan untuk mengidentifikasi perilaku dari suatu peristiwa atau proses tertentu. Penemuan asisiasi menghubungkan kejadian dalam peristiwa tunggal. Contohnya, pria yang membeli kopi
11
dengan merek premium tiga kali lebih mungkin untuk membeli rokok yang mereknya impor dibanding pria yang hanya membeli kopi degan merek standar. Penemuan asosiasi berdasarkan aturan berikut: “Jika item A adalah bagian dari suatu kejadian, maka X persen dari waktu (faktor keyakinan), item B adalah bagian dari kejadian yang sama.”. Contohnya adalah sebagai berikut: •
Jika pelanggan membeli makanan ringan, maka 85 persen kemungkinan bahwa pelanggan tersebut akan membeli minuman ringan atau bir.
•
Jika sesorang membeli tiket penerbangan untuk keluarganya, maka 85 persen kemungkinan bahwa dia akan menyewa mobil ukuran besar untuk ke lokasi liburan.
Dengan bantuan pemindai, toko retail menggunakan teknik data mining ini untuk menemukan pola pembelian toko grosir. Karena konteksnya seperti sebuah toko grosir, asosiasi kadang-kadang disebut dengan analisis keranjang pasar (market basket analysis) (Moss & Atre, 2003, p. 388). -
Clustering Teknik clustering digunakan untuk menemukan kelompok yang berbeda dalam data. Clustering serupa dengan klasifikasi, hanya saja kelompok-kelompok
tersebut
belum
didefinisikan
pada
saat
menjalankan tool data mining. Teknik clustering yang sering digunakan adalah jaringan syaraf tiruan atau metode statistika. Clustering
12
digunakan untuk mendeketeksi masalah seperti cacat manufaktur atau kelompok afinitas untuk kartu kredit. -
Deskripsi dan Visualisasi Tujuan dari data mining terkadang adalah untuk memberikan representasi yang sederhana dan ringkas dari informasi yang tersimpan dalam dataset yang besar. Berbeda dengan clustering dan asosisasi, analisis deskriptif tidak melakukan pengelompokkan atau pembagian dalam dataset. Sebuah deskripsi singkat mengenai dataset yang besar sangat
membantu,
dan
mungkin
juga
menjelaskan
pola-pola
tersembunyi dalam data.
2.2.3. Time Series Time series adalah suatu himpunan pengamatan yang dibangun secara berurutan dalam waktu. Waktu atau periode yang dibutuhkan untuk melakukan suatu peramalan itu biasanya disebut sebagai lead time yang bervariasi pada tiap persoalan. Berdasarkan himpunan pengamatan yang tersedia maka time series dikatakan kontinu jika himpunan pengamatan tersebut adalah kontinu dan dikatakan diskrit bila himpunan pengaamatan tersebut juga diskrit. Dalam time series diskrit. interval waktunya seragam seperti, menit, jam, hari, minggu, bulan, kwartal atau tahunan (Vercellis, 2009, p. 187). Contohnya time series digunakan untuk memprediksi konsumsi penggunaan industri. Gambar 2.1 menunjukkan konsumsi listrik di Italia dinyatakan dalam puluhan juta kilowatt per jam, direkam setiap dua bulan dari dua bulan pertama tahun 1998 sampai dua bulan ke enam tahun 2003.
13
2004
2003
2002
2001
2000
1999
1998
105 100 95 90 85 80 75 70 65
Gambar 2.1 – Time Series Konsumsi Listrik Itali Tiga komponen time series dibagi menjadi tiga yaitu: tren, musiman, dan random noise. -
Tren. Komponen tren jangka panjang menggambarkan perilaku ratarata dari waktu ke waktu, dan trennya dapat meningkat, menurun, atau statis. Usaha yang dibuat untuk perkiraan tren time series dilambangkan dengan Mt, menggunakan fungsi sederhana dari bentuk linier, polinomial, eksponensial, dan logaritma.
-
Musiman. Komponen musiman dilambangkan dengan Qt, yaitu hasil gelombang fluktuasi jangka pendek dari frekuensi yang muncul dalam time series tertentu.
-
Random Noise. Adalah komponen fluktuasi dari time series yang digunakan untuk mewakili semua variasi yang tidak beraturan dalam data yang tidak bisa dijelaskan oleh komponen lainnya.
2.2.4. Algoritma Prediksi Berikut ini adalah algoritma yang sering digunakan untuk melakukan prediksi time series (Singh & Balasundaram, 2007):
14
-
ARIMA Model ARIMA merupakan penggabungan dari dua metode yaitu Autoregressive dan Moving Average. ARIMA mencari pola yang paling cocok dalam kesatuan waktu dengan menggunakan nilai masa lalu, dan meramalkan pola masa depan dalam jangka pendek. ARIMA cocok jika observasi time series secara statistik berhubungan satu sama lain.
-
Support Vector Regression Support Vector Regression (SVR) merupakan Support Vector Machines (SVM) untuk regresi yang merepresentasikan fungsi dengan sebagian training data, yang biasa disebut support vectors. Implementasi SVM untuk prediksi time series menunjukkan performance yang sangat baik.
-
Jaringan Syaraf Tiruan Jaringan syaraf tiruan terdiri atas sejumlah proses yang sangat sederhana yang disebut dengan node atau simpul. Simpul ini analog dengan neuron yang ada di otak manusia. Kumpulan simpul–simpul yang membentuk suatu konfigurasi tertentu dikenal sebagai jaringan syaraf tiruan. Jaringan syaraf tiruan terdiri atas lapisan input dan output. Tetapi ada juga yang mempunyai lapisan tersembunyi diantara lapisan input dan output. Karakteristik jaringan syaraf tiruan ditentukan oleh pola hubungan antara neuron-neuronnya yang biasanya disebut arsitektur/topologi jaringan, metode penentuan bobot sambungannya (pelatihan jaringan) dan fungsi aktivasinya. (Eliyani, 2007) melakukan
15
peramalan harga saham perusahaan dengan menggunakan jaringan syaraf tiruan dan akaike information criterion. Algortima lainnya yang digunakan untuk prediksi antara lain: -
Decision Tree Decision tree adalah sebuah diagram alur dengan struktur seperti pohon. Setiap node berisi menandakan suatu tes pada atribut. Setiap cabang mewakili hasil tes. Node daun merepresentasikan kelas distribusi. Struktur decision tree
menunjukkan aturan “jika-maka” (bukan
persamaan matematika) sehingga hasilnya mudah untuk ditafsirkan. Penelitian decision tree berkembang di bidang-bidang seperti rekayasa, bisnis, kedokteran dan pendidikan. Fang dan Lu mengembangkan model decision tree unruk memprediksi kinerja siswa dalam dinamika teknik (Fang & Lu, 2009). -
Naive Bayes Naive bayes merupakan teknik sederhana yang sangat cocok saat dimensi dari input tinggi. Meskipun sederhana, naive bayes seringkali dapat mengungguli metode klasifikasi yang lebih canggih. Aturan naive bayes merupakan dasar dari banyak machine learning dan metode data mining. Aturan naive bayes digunakan untuk membuat model dengan kemampuan prediksi. Algoritma ini digunakan saat: •
Dimensi dari input tinggi
•
Atributnya tidak bergantung satu sama lain
•
Ingin output yang lebih efisien
16
G.Subbalakshmi et al. menggunakan algoritma naive bayes dalam sistem
pendukung
keputusan
prediksi
penyakit
jantung
(G.Subbalakshmi, Ramesh, & Rao, 2011). -
Logika Fuzzy Logika
fuzzy
merupakan
sebuah
metodologi
sistem
kontrol
penyelesaian masalah yang cocok diimplementasikan dalam sistem, mulai dari sistem yang sederhana, kecil, embedded micro-controllers, hingga yang besar, jaringan, multi chanel PC dan sistem kontrol. Logika fuzzy menyediakan sebuah cara yang sederhana untuk mendapatkan kesimpulan berdasarkan informasi yang kabur, ambigu, tidak tepat atau bahkan yang hilang. Umumnya, logika fuzzy adalah metode cukup efektif untuk sistem yang model matematikanya tidak diketahui atau tidak dapat dibuat (Aydin, Karakose, & Akin, 2009). Penggunaan logika fuzzy untuk prediksi telah banyak digunakan, seperti prediksi pemesanan hotel (Hoekstra, 2010) dan prediksi penggunaan bandwidth (Din & Fisal, 2008).
2.3. Jaringan Syaraf Tiruan Jaringan syaraf tiruan (JST) telah secara luas diterapkan untuk klasifikasi pola dan masalah regresi. Alasan utama keberhasilan dari JST adalah kemampuannya dalam memperoleh fungsi model perkiraan non-linier yang menggambarkan hubungan antara variabel dependen dan independen dengan menggunakan input sampel yang diberikan (Singh & Balasundaram, 2007).
17
2.3.1. Arsitektur Jaringan Ada beberapa arsitektur jaringan syaraf, antara lain (Kusumadewi, 2003, p. 212): -
Jaringan dengan lapisan tunggal (single layer net) Jaringan dengan lapisan tunggal hanya memiliki satu lapisan dengan bobot-bobot terhubung. Jaringan ini hanya menerima input kemudian secara langsung akan mengolahnya menjadi output tanpa harus melalui lapisan tersembunyi.
Nilai Input
X1
X2
w11 w12
X3
w21 w22 w31
Y1
Lapisan Input
w32
Y2
Matriks Bobot
Lapisan Output
Nilai Output
Gambar 2.2 – Arsitektur Jaringan dengan Lapisan Tunggal Gambar 2.2 menunjukkan arsitektur jaringan dengan lapisan tunggal. Lapisan input memiliki tiga neuron, yaitu X1, X2 dan X3. Sedangkan pada lapisan output memiliki dua neuron yaitu Y1 dan Y2. Neuron-
18
neuron pada kedua lapisan saling berhubungan. Seberapa besar hubungan antara 2 neuron ditentukan oleh bobot yang bersesuaian. Semua unit input akan dihubungkan dengan setiap unit output. -
Jaringan dengan banyak lapisan (multi layer net) Jaringan dengan banyak lapisan memiliki satu atau lebih lapisan yang terletak di antara lapisan input dan lapisan output. Umumnya ada lapisan bobot-bobot yang terletak antara dua lapisan tersebut. Gambar 2.3 menunjukkan arsitektur jaringan dengan banyak lapisan.
Nilai Input X1
X2
v11 v12
X3
Lapisan Input
v21 v22 v31
Z1
v32
Matriks Bobot Pertama
Z2 Lapisan Tersembunyi
w1
w2 Matriks Bobot Ke Dua Y Lapisan Output
Nilai Output
Gambar 2.3 – Arsitektur Jaringan dengan Banyak Lapisan
19
-
Jaringan dengan lapisan kompetitif (competitive layer net) Merupakan jenis jaringan saraf yang memiliki bobot yang telah ditetapkan dan tidak memiliki proses pelatihan. Digunakan untuk mengetahui neuron pemenang dari sejumlah neuron yang ada. Nilai bobot untuk diri sendiri tiap neuron adalah 1, sedangkan untuk neuron lain adalah bobot random negatif. Gambar 2.4 menunjukkan salah satu contoh arsitektur jaringan dengan lapisan kompetitif yang memiliki bobot - η -η A1
Am -η
-η
-η
-η
Ai
Aj -η
Gambar 2.4 – Arsitektur Jaringan dengan Lapisan Kompetitif
2.3.2. Fungsi Aktivasi Ada beberapa fungsi aktivasi yang sering digunakan dalam jaringan saraf tiruan, antara lain: -
Fungsi Undak Biner (Hard Limit) Jaringan dengan lapisan tunggal sering menggunakan fungsi undak (step function) untuk mengkonversikan input dari suatu variabel yang bernilai kontinu ke suatu output biner yaitu 0 atau 1 (Gambar 2.5). Fungsi undak biner (hard limit) dirumuskan sebagai berikut:
20
0, 1,
0 0 y 1 x
0
Gambar 2.5 – Fungsi Undak Biner (Hard Limit) -
Fungsi Nilai Ambang (Threshold) Fungsi undak biner dengan menggunakan nilai ambang sering juga disebut dengan nama fungsi nilai ambang (threshold) atau fungsi Heaviside (Gambar 2.6). Fungsi undak biner (dengan nilai ambang θ) dirumuskan sebagai berikut: 0, 1,
θ θ y 1
0
θ
x
Gambar 2.6 – Fungsi Undak Biner (Threshold) -
Fungsi Linier Fungsi linear memiliki nilai output yang sama dengan nilai inputnya (Gambar 2.7). Fungsi linear dirumuskan sebagai:
21
y 1 -1 0
1
x
-1
Gambar 2.6 – Fungsi Linier -
Fungsi Sigmoid Fungsi dengan kurva berbentuk huruf S. Setiap nilai x dipetakan ke dalam interval 0 sampai 1dinamakan fungsi sigmoid biner. Sedangkan output yang memiliki rentang antara -1 sampai 1 disebut sigmoid tan. Fungsi sigmoid biner dirumuskan sebagai berikut:
1
dengan:
Fungsi sigmoid tan dirumuskan sebagai berikut:
dengan:
1
1
2.3.3. Metode Pembelajaran JST sering diklasifikasikan ke dalam pembelajaran terawasi (supervised learning) dan tidak terawasi (unsupervised learning) berdasarkan metode pembelajarannya (Cho, Chun, & Lee, 2007). Metode pembelajaran pada jaringan syaraf disebut terawasi jika output yang diharapkan telah diketahui sebelumnya.
22
Sedangkan metode pembelajaran yang tidak terawasi tidak memerlukan target output. Algoritma berikut ini merupakan metode pembelajaran JST yang terawasi (Kusumadewi, 2003, p. 224). -
Perceptron Perceptron biasanya digunakan untuk mengklasfikasikan suatu tipe pola tertentu yang sering dikenal dengan pemisahan secara linear. Pada dasarnya, perceptron pada jaringan syaraf dengan satu lapisan memiliki bobot yang bisa diatur dan suatu nilai ambang (threshold). Algortima yang digunakan oleh aturan perceptron ini akan mengatur parameterparameter bebasnya melalui proses pembelajaran.
-
Backpropagation Backpropagation merupakan algoritma pembelajaran yang terawasi dan biasanya digunakan oleh perceptron dengan banyak lapisan untuk mengubah bobot-bobot yang terhubung dengan neuron-neuron yang ada pada
lapisan
tersembunyinya.
Algoritma
backpropagation
menggunakan error output untuk mengubah nilai bobot-bobotnya dalam arah mundur (backward). Untuk mendapatkan error ini, tahap perambatan maju (forward propagation) harus dikerjakan terlebih dahulu. Pada saat perambatan maju, neuron-neuron diaktifkan dengan menggunakan fungsi aktivasi sigmoid, yaitu: 1 1
23
Aristektur jaringan backpropagation dapat dilihat pada Gambar 2.7 di bawah ini.
X1
Y1
V11 V12
W11 Z1
W13
V21 X2
V22
W22 W23
V32
X3
Y2
W21 Z2
V31
W12
Y3
Gambar 2.7 – Arsitektur Jaringan Backpropagation Salah satu algoritma untuk pembelajaran JST yang tidak terawasi adalah jaringan kohonen. Pada jaringan ini, suatu lapisan yang berisi neuron-neuron akan menyusun dirinya sendiri berdasarkan input nilai tertentu dalam suatu kelompok yang dikenal dengan istilah cluster. Selama proses penyusunan diri, cluster yang memiliki vektor bobot paling cocok dengan pola input yaitu yang memiliki jarak paling dekat akan terpilih sebagai pemenang. Neuron yang menjadi pemenang beserta neuron-neuron tetangganya akan memperbaiki bobotbobotnya.
24
2.4. Extreme Learning Machine Extreme learning machine merupakan jaringan syaraf tiruan feedforward dengan satu hidden layer atau lebih dikenal dengan istilah single hidden layer feedforward neural network (Sun, Choi, Au, & Yu, 2008). Tingkat pembelajaran jaringan syaraf feed-forward (feed-forward neural network - FFNN) lebih banyak mengkonsumsi waktu. Menurut Huang et al. ada dua alasan kenapa ini bisa terjadi, pertama adalah karena penggunaan algoritma pembelajaran dengan gradien yang lambat untuk pelatihan jaringan syaraf dan yang ke dua adalah karena tuning berulang dari parameter jaringan karena algoritma ini. Untuk mengatasi masalah ini, Huang et al. mengajukan sebuah algoritma pembelajaran yang dinamakan extreme learning machine (ELM) untuk jaringan syaraf single hidden layer feed-forward (SLFNs) yang memilih secara acak bobot input dan secara analitik menentukan bobot output SLNFs. Huang et al. menyatakan “Secara teori, algoritma ini cenderung memberikan kinerja generalisasi terbaik pada kecepatan pembelajaran yang sangat cepat.” (Huang, Zhu, & Siew, 2004). ELM memiliki fitur yang menarik dan signifikan, berbeda dengan algoritma pembelajaran berbasiskan gradien yang populer untuk jaringan syaraf feedforward. Fitur yang dimaksud adalah sebagai berikut (Huang, Zhu, & Siew, 2006): -
Kecepatan belajar ELM sangat cepat. Dalam simulasi yang dilaporkan dalam literatur, fase pembelajaran ELM dapat diselesaikan dalam hitungan detik untuk banyak aplikasi. Sebelumnya, tampaknya ada penghalang
kecepatan
virtual yang sebagaian besar
algortima
25
pembelajaran klasik tidak dapat menembusnya. Bukan hal yang tidak biasa lagi kalau pelatihan jaringan syaraf feed-forward yang menggunakan algorima pembelajaran klasik memerlukan waktu yang cukup lama bahkan untuk aplikasi yang sederhana. -
ELM memiliki kinerja geneneralisasi yang lebih baik dibandingkan pembelajaran berbasiskan gradien, seperti backpropagation dalam kebanyakan kasus. Algoritma pembelajaran klasik berbasiskan gradien dan beberapa algoritma pembelajaran lainnya menghadapi beberapa masalah seperti minima lokal, tingkat pembelajaran yang tidak tepat, dan lain-lain. Untuk menghindari masalah ini, beberapa metode seperti peluruhan bobot dan metode pemberhentian lebih awal sering digunakan pada algoritma klasik ini.
-
ELM cenderung untuk mencapai solusi sederhana tanpa masalah sepele seperti itu. Algoritma pembelajaran ELM terlihat jauh lebih sederhana dari algoritma pembelajaran jaringan syaraf feed-forward kebanyakan. Tidak seperti algoritma pembelajaran berbasiskan gradien yang hanya bekerja untuk fungsi aktivasi terdiferensiasi, algortima ELM dapat digunakan untuk melatih SLFNs dengan banyak fungsi aktivasi yang tidak terdiferensiasi.
26
2.4.1. Cara Kerja Algoritma ELM Gambar 2.8 merupakan struktur dari ELM (Huang, Zhu, & Siew, 2004). Output Layer β …
Hidden Layer
w Input Layer
…
Xi1
Xi2
X… iN
Gambar 2.8 – Struktur ELM Metode ELM mempunyai model matematis yang berbeda dari jaringan syaraf tiruan feedforward. Model matematis dari ELM lebih sederhana dan efektif. Berikut ini adalah model matematis dari ELM. Untuk N jumlah sampel yang berbeda (Xi, ti) ,
,…,
(1)
,
,…,
(2)
Standar SLFNs dengan jumlah node tersembunyi sebanyak N dan fungsi aktivasi g(x) dapat digambarkan secara matematis sebagai berikut: ∑ Dimana: J = 1, 2, …, N
∑
.
(3)
27
Wi = (Wi1, Wi2, … , Win)T merupakan vektor dari bobot (weight) yang menghubungkan ith node tersembunyi dan node input. βi = (βi1, βi2, … , βin)T
merupakan vektor bobot (weight vector) yang menghubungkan ith node tersembunyi dan node output.
bi
threshold dari ith node tersembunyi
wixj
merupakan inner produk dari wi dan xj
SLFNs dengan N hidden nodes dan activation function g ( x ) diasumsikan dapat memperkirakan dengan tingkat error 0 atau dapat dinotasikan sebagai berikut: ∑
o sehingga
∑
(4)
.
(5)
Persamaan [5] dapat dituliskan secara sederhana sebagai berikut: (6) ,…,
, ,…,
,
,…,
.
.
.
.
(7)
(8)
(9) H pada persamaan [7] di atas adalah layar tersembunyi output matriks. .
menunjukkan output dari neuron tersembunyi yang berhubungan
28
dengan input
.
merupakan matriks dari output bobot dan matriks T dari target
atau output. Pada ELM bobot input dan bias tersembunyi ditentukan secara acak, maka bobot output yang berhubungan dengan layer tersembunyi dapat ditentukan dari persamaan [6]. (10)
2.4.2. Implementasi ELM Meskipun tergolong algoritma baru, beberapa penerapan ELM untuk prediksi telah dilakukan, seperti prediksi properti material (El-Sebakhy, 2008), prediksi permintaan barang (Agustina, Anggraeni, & Mukhlason, 2010), prediksi penjualan di industri retail (Chen & Ou, 2011), dan klasifikasi nasabah bank (Duan, Huang, & Wang, 2009). Hasil penerapan metode ELM untuk prediksi permintaan barang menunjukkan bahwa metode ELM memiliki tingkat akurasi lebih baik dibandingkan dengan metode konvensional seperti Moving Average (MA) dan Exponential Smoothing (ES). Dimana tingkat kesalahan (Mean Square Error dan Mean Absolut Precentage Error) metode ELM lebih kecil dibandingkan dengan dua metode konvensional tersebut. Berikut ini adalah perbandingan nilai MSE dan MAPE antara metode ELM, MA, dan ES. (Agustina, Anggraeni, & Mukhlason, 2010)
29
Tabel 2.1 – Perbandingan Nilai MSE dan MAPE antara Metode ELM, MA, dan ES untuk Data Kaos MA
ES
ELM
MSE
116.74
502.19
0.0481
MAPE
19.19
32.93
0.0042
Chen dan Ou mengkombinasikan metode Grey Relation Analysis (GRA) dan ELM untuk model prediksi industri retail (Chen & Ou, 2011). Kombinasi ini disebut dengan GELM. Kinerja GELM dibandingkan dengan model prediksi Generalized ARCH (GARCH), Back Propagation Network (GBPN), dan GRA Multilayer Functional Link Network (GMFLN) dengan hasil sebagai berikut: Tabel 2.2 – Perbandingan Hasil dari Model Prediksi yang Berbeda Tipe Model
MAD
MSE
Lama Pelatihan
Model time series statistik
GARCH
0.13876
0.03191
-
Model jaringan syaraf tiruan
GBPN
0.09837
0.01979
11.573
GMFLN
0.08911
0.01883
4.216
GELM
0.07039
0.00907
0.3750
Duan et al. menggunakan ELM untuk mengklasifikasi nasabah bank (Duan, Huang, & Wang, 2009). Kinerja ELM juga dibandingkan dengan algoritma decision tree, jaringan syaraf tiruan, serta Bayes dengan hasil sebagai berikut:
30
Tabel 2.3 – Perbandingan Waktu dan Keakuratan dari ELM, Decision Tree, JST, dan Bayes Algoritma
Waktu
Keakuratan
Training (s)
Testing (s)
Training
Testing
ELM
0.8590
0.3440
0.9530
0.9200
Decision Tree
3.6520
1.3450
0.8600
0.8300
JST
3.1231
1.1240
0.9460
0.8840
Bayes
2.9315
0.9134
0.9840
0.9000
Huang et al. melakukan evaluasi kinerja ELM dengan membandingkannya dengan algoritma feed-forward yang cukup populer yaitu backpropagation (BP) dan support vector machine for regression (SVR). Salah satu hasil evaluasinya ditunjukkan pada tabel di bawah ini (Huang, Zhu, & Siew, 2006): Tabel 2.4 – Perbandingan Kinerja dari Pembelajaran Fungsi: SinC Algoritma Waktu (s)
Training
Training Testing RMS
Dev
Testing RMS
Jumlah dari SV Dev
s/node
ELM
0.125
0.031
0.1148 0.0037 0.0097 0.0028 20
BP
21.26
0.032
0.1196 0.0042 0.0159 0.0041 20
SVR
1273.4
5.9067
0.1149 0.0007 0.0130 0.0012 2499.9
Keterangan: RMS = root mean square error Dev = standar deviasi Sebagai teknik pembelajaran, ELM telah mendemonstrasikan potensi yang bagus untuk menyelesaikan masalah regresi dan klasifikasi. Akhir-akhir ini,
31
teknik ELM menerima perhatian yang cukup banyak dari komunitas computational intelligence dan machine learning, baik dari segi teori dan aplikasinya (Huang, Wang, & Lan, 2011).
2.5. Prediksi Topik-Topik Penelitian Dalam pembuatan rencana teknologi dan bisnis, sangat diperlukan untuk memahami teknologi secara keseluruhan dan memprediksi apa yang akan terjadi dalam waktu dekat (Kobayashi, Shirai, Hiyane, Kumeno, Inujima, & Yamauchi, 2005). Penelitian mengenai prediksi trend-trend telah banyak dilakukan di banyak domain. Kobayashi et al. memprediksi trend teknologi berdasarkan sumber dari internet. Subyek penting lainnya dalam dokumen paten adalah kebutuhan manusia, khususnya pestisida, obat-obatan, dan deterjen. Subyek paking besar dalam legiatan penelitian adalah teknologi pangan, khususnya minyak kelapa, minyak kelapa sawit, dan penyimpanan. Topik yang menonjol pada tahun 1993 sampai 1996 adalah proses fermentasi, proses penyimpanan, dan alat pengering (Kobayashi, Shirai, Hiyane, Kumeno, Inujima, & Yamauchi, 2005). Rahayu dan Hasibuan mengidentifikasi trend teknologi pada dokumen paten Indonesia, laporan penelitian kimia dan bidang metallurgy. Tujuan dari penelitiannya adalah untuk mengetahui trend topik yang inti, menonjol, dan berkembang. Hasil penelitiannya menunjukkan subyek dan kata kunci yang berulang pada dokumen dari tahun 1993 sampai 1997 adalah kimia organik, terutama mengenai pewarnaan dan ekstraksi (Rahayu & Hasibuan, 2006).
32
Small
mengeksplorasi
peluang
menggunakan
co-citation
cluster
berdasarkan tiga periode waktu untuk melacak perkebangan dan pertumbuhan area penelitian, dan kemudian memprediksi perubahan jangka dekatnya. Data setnya berasal dari tiga data enam tahunan yang berulang yaitu: 1996-2001, 1997-2002 dan 1998-2003 (Small, 2006). Daim et al. memprediksi tiga area teknologi berkembang dengan mengintegrasikan penggunaan bibliometrik dan analisis paten ke dalam tool teknologi prediksi seperti scenario planning, growth curves, dan analogi. Teknologi yang diprediksi adalah sel bahan bakar, keamanan pangan, dan teknologi penyimpanan optic (Daim, Rueda, Martin, & Gerdsri, 2006).
2.6. Growth Rate Analysis Tingkat pertumbuhan (growth rate) adalah jumlah kenaikan yang diperoleh oleh sebuah variabel dalam periode dan konteks tertentu. Analisis tingkat pertumbuhan (growth rate analysis) bertujuan untuk mengidentifikasi variabel yang tingkat pertumbuhannya signifikan dan juga mengidentifikasi variabel yang baru muncul. Ada banyak pilihan untuk menentukan tingkat pertumbuhan. Ziegle mempertimbangkan empat kemungkinan: perbedaan antara jumlah hit tahun terakhir dan jumlah hit tahun awal itu, rasio jumlah hit terbanyak dan jumlah hit awal, tingkat kurva eksponensial sesuai dengan time series, dan average year of publication (rata-rata tahun publikasi) (Ziegle, 2009). Metrik pertama untuk perhitungan laju pertumbuhan adalah perbedaan angka antara jumlah hit akhir dengan hit awal dari suatu term. Meskipun metrik
33
sederhana ini secara intuitif menarik, metrik ini memiliki dua kekurangan. Yang pertama adalah jumlah hit tahun-tahun selain tahun pertama dan tahun terakhir diabaikan. Kelemahan yang ke dua adalah term dengan jumlah hit awal lebih besar lebih disukai dibandingkan yang jumlah hit awalnya kecil. Penggunaan metrik rasio memiliki satu peringatan: tingkat pertumbuhan tidak terdefinisi jika jumlah hit tahun awal bernilai nol. Ada beberapa kemungkinan penyelesaian masalah ini, yakni dengan menggantikan nol dengan jumlah hit terendah. Dua metrik yang dibahas di atas hanya mempertimbangkan jumlah hit dari tahun awal sampai tahun akhir. Dua metrik selanjutnya merupakan metrik yang mempertimbangkan semua jumlah hit. Pertama adalah dengan menggunakan kurva eksponensial pada time series, dan mengambil parameter eksponensial sebagai tingkat pertumbuhan (growth rate). Ke dua adalah average year of publication (rata-rata tahun publikasi). Untuk menghitung average year of publication, kita menjumlah seluruh hasil perkalian tahun dengan jumlah hit per tahun, kemudian membaginya dengan jumlah seluruh hit pada semua tahun. Dalam rumus: ∑ ∑
2.7. Prediksi Linier Prediksi linier adalah teknik pemrosesan sinyal yang digunakan secara luas dalam analisis sinyal suara dan sebagaimana yang dimaksud dalam pemrosesan literature suara. Prediksi linier adalah sebuah teknik analisis time series, yang
34
muncul dari pengujian sistem linier. Dengan menggunakan prediksi linier, parameter dari sistem dapat ditentukan dengan menganalisis input dan output dari sistem (Cinneide, 2008). Salah satu algoritma prediksi linier adalah autoregressive. Pada matlab terdapat sebuah tool untuk melakukan prediksi linier yaitu lpc. Lpc menggunakan metode autocorrelation dari model autoregressive untuk menemukan filter coefficient. Lpc menghitung penyelesaian kuadrat terkecil dengan:
Dimana:
Dan m adalah panjang dari x. Menyelesaikan masalah kuadrat terkecil melalui persamaan normal.
mengarah kepada persamaan Yule-Walker
