ARTIFICIAL INTELLIGENCE: Artificial Neural Network
Konsep, Teknologi, dan Penerapannya Arief Sudarmaji, Ph.D Disampaikan pada Kuliah Perdana Program Studi Teknik Elektro Fakultas Teknik Universitas Muria Kudus
Sabtu, 22 Oktober 2016
1
MAIN CONTENTS:
ARTIFICIAL INTELLIGENCE (AI):
Introduction to AI Technology AI Technique: Artificial Neural Network
and its applications
2
ARTIFICIAL INTELLIGENCE (AI): Introduction to AI Technology
3
Pernahkan mendengar tentang hal-hal berikut ini: ELIZA, 1966, Sistem pakar di masa awal oleh Weizerbaum (MIT),
berupa program komputer terapis (chatterbots). PROVERB 1999, mampu memecahkan teka-teki silang lebih baik
dari manusia kebanyakan selain yang ahli. DEEP BLUE mengalahkan juara dunia catur GM Garry Kasparov
pada 1997 DARPA: Robot driving, grand challenge, 2003-2007. DARPA (Defence Advanced Research Projects Agency):
drones, intelligent robot, smart bullet, dll. AIBO: robot piaraan, produksi Sony Computer Science Lab. SIRI and Google now: intelligent personal assistant. Face recognition software mulai 2006 ditanamkan pada kamera
komersial
4
Apa itu AI? Russel dan Norvig (2010) mendefinisikan AI dengan 4 pendekatan: Thinking Humanly
Thinking Rationally
“usaha terkait membuat komputer/ mesin berfikir.. machines with minds” (Haugeland, 1985)
“Studi mengenai cara berfikir manusia melalui model-model komputasi.” (Charniak and McDermott, 1985)
“Otomasi yang terkait cara berfikir manusia, spt pengambilan keputusan, memecahkan masalah, dan pembelajaran.” (Bellman, 1978)
“Studi mengenai komputasi yang memungkinkan untuk merasa, dan berlogika dan bertindak.” (Winston, 1992)
Thinking Rationally “terkait mesin yang mampu melakukan fungsi kerja yang membutuhkan kecerdasan saat dilakukan manusia.” (Kurzweil, 1990) Studi tentang bagaimana membuat komputer mengerjakan sesuatu yang dapat dikerjakan manusia. (Rich and Knight, 1991)
Acting Rationally “Komputasi cerdas merupakan studi tentang desain agen-agen cerdas” (Poole et al., 1998) AI...Terkait dengan perilaku cerdas pada sebuah mesin“ (Nilsson, 1998) 5
Lalu apa itu AI? ⦿
Acting Humanly
⦿
Thinking Humanly
⦿
Thinking Rationally
⦿
Acting Rationally
Ada dua ide dasar: Pertama, studi kemampuan proses berfikir dan bertindak manusia, Kedua, merepresentasikannya melalui mesin (komputer, robot, dll)
Artificial intelligence (AI) adalah kecerdasan (perilaku dan/atau cara berfikir) yang ditunjukkan oleh sebuah piranti (mesin).
6
Kecerdasan? Lalu, dimanakan letak ^Kecerdasan” nya ?? Kecerdasannya terkait kemampuan pada BAGIAN KOMPUTASI untuk mencapai tujuan melakukan hal-hal yang menyerupai manusia. Arti kecerdasan (Winston dan Pendergast, 1994) kemampuan untuk … belajar atau mengerti dari pengalaman, memahami pesan yang kontradiktif dan ambigu, menanggapi dengan cepat dan baik atas situasi/perubahan yang baru, menggunakan penalaran dalam memecahkan masalah serta menyelesaikannya dengan efektif 7
Bidang ilmu AI sangat luas yang melingkupi banyak sub area. • Philosophy
Logic, methods of reasoning, mind as physical system, foundations of learning, language, rationality.
• Mathematics
Formal representation and proof, algorithms computation, (un)decidability, (in)tractability
• Probability/ Statistics
modeling uncertainty, learning from data
• Economics
utility, decision theory, rational economic agents
• Neuroscience
neurons as information processing units.
• Psychology/ Cognitive Science
how do people behave, perceive, process cognitive information, represent knowledge
• Computer engineering
building fast computers
• Control theory
design systems that maximize an objective function over time
• Linguistics
knowledge representation, grammars 8
Sejarah Singkat AI
1943: masa permulaan McCulloch & Pitts: menerbitkan "Kalkulus Logis Gagasan yang tetap ada dalam Aktivitas" yang meletakkan pondasi untuk jaringan syaraf Boolean circuit model of brain
1950s: periode usaha aktif dalam AI, Alan Turing memperkenalkan Turing test Early AI programs, including Samuel's checkers program and Newell & Simon's Logic Theorist
1956: kelahiran AI Konferensi Dartmouth: Nama "Artificial Intelligence“ dikenalkan oleh John McCarthy.
1955-69: “masa antusias yang besar”, awal pengembangan Newell and Simon General Problem Solver, menyelesaikan masalah secara manusiawi. Gelertner dari IBM Geometry Theorem Prover McCarthy bahasa pemrograman LISP James Slagle 1963, program integral tertutup untuk MK Kalkulus. Tom Evan 1968, program analogi buatan untuk geometri tes IQ.
9
Sejarah Singkat AI
1966—73: masa pengembangan AI melambat Program-program AI yang bermunculan hanya mengandung sedikit pengetahuan pada subjeknya. Hanya berupa manipulasi sintesis sederhana. Banyak realisasi aplikasi AI sangat sulit, misal pada ELIZA. Keterbatasan dalam pengembangan metode neural network, .
1969—85: Sistem berbasis Pengetahuan (domain knowledge) Pengembangan knowledge-based systems Keberhasilan rule-based expert systems, Contoh: DENDRAL, MYCIN Namun masih belum kuat dan belum berkembang secara praktis
1986-- sekarang Masa kebangkitan machine learning dan NN Neural networks kembali popular. Banyak pengembangan besar dalam algoritma machine learning. 1995 – sekarang AI berkembang sebagai ilmu pengetahuan: Integrasi learning, reasoning, knowledge representation Metode AI dipakai dalam banyak biidang: vision, language, data mining, dll.
10
Bagian Utama Aplikasi AI
1. Basis pengetahuan (knowledge base): berisi fakta-fakta, teori, pemikiran & hubungan antara satu dengan lainnya. 2. Motor inferensi (inference engine): kemampuan menarik kesimpulan berdasarkan pengetahuan
Input, masalah, pertanyaan, dll
Basis Pengetahuan
Motor Inferensi
Output, jawaban, solusi
11
DASAR PEMIKIRAN dalam AI Secara garis besar, AI terbagi ke dalam dua dasar pemikiran yaitu AI Konvensional dan AI Komputasional (CI, Computational Intelligence), dan Hybrid AI konvensional kebanyakan melibatkan metoda-metoda yang diklasifiksikan sebagai pembelajaran mesin, yang ditandai dengan rule-based dan analisis statistik. Dikenal juga sebagai (GOFAI, Good Old Fashioned Artificial Intelligence). AI simbolis, AI logis, AI murni dan AI cara lama Metoda-metodanya meliputi: Sistem Pakar Petimbangan berdasar kasus AI berdasar tingkah laku: metoda modular pada pembentukan sistem AI secara manual. 12
Expert Systems (Sistem Pakar) Sistem Pakar (Expert Systemi), yaitu program konsultasi (advisory)
yang mencoba menirukan proses penalaran seorang pakar/ahli dalam memecahkan masalah yang rumit. Kunci expert system harus diciptakan dahulu suatu knowledge base sesuai jenis aplikasinya. Suatu knowledge base terdiri dari kumpulan data tertentu untuk permasalahan yang spesifik dan aturan-aturan bagaimana memanipulasi data yang disimpan tersebut. Perbedaan dengan database biasa, knowledge base mungkin dapat juga terdiri dari asumsi, kepercayaan, pendugaan atau metode-metode heuristic. Untuk membuat knowledge base perencanaan sistem harus bekerja sama atau meminta nasehat dari ahli di bidangnya. Orang yang menciptakan expert system disebut dengan knowledge engineer. 13
Contoh Sistem Pakar pertama kali: 1. MACSYMA, yang digunakan untuk tugas-tugas matematika. 2. MYCIN, untuk mendiagnosa penyakit infeksi pada darah. 3. CADUCEUS, untuk mendeteksi penyakit. 4. PUFF, untuk mengukur fungsi dari paru-paru. 5. PROSPECTOR, digunakan perusahaan DEC untuk menggambarkan konfigurasi dari sistem komputer bagi para langganannya. 6. DENDRAL, untuk mengidentifikasikan struktur molekul suatu komposisi kimia dan lain sebagainya. Sistem pakar (expert systems) merupakan suatu pengembangan dari Decision Support Systems (DSS), yang memiliki fungsi sebagai konsultan. Sistem pakar banyak dimanfaatkan dalam bidang medis dan bisnis.
14
Perbedaan antara Sistem Pakar dan Decision Support Systems Karakteristik
DSS
ES
Mencerminkan gaya dan kemampuan manajer untuk memecahkan masalah
Membuat keputusan melebihi kemampuan manajer
Tidak terperinci
Terperinci dengan jelas
Kemampuan memberikan alasan
Tidak ada
Ada, terbatas
Kemampuan menjelaskan
Terbatas
Ada
Manusia dan/atau sistem
Sistem
Numerik
Simbolik
Fungsi
Alur Penalaran
Pengambil Keputusan Metode manipulasi data
15
AI Lomputasional Pembelajaran ini berdasarkan pada data empiris dan diasosiasikan dengan AI non-simbolis, AI yang tak teratur dan soft computing. Soft computing, merupakan inovasi baru dalam membangun sistem cerdas yaitu sistem yang memiliki keahlian seperti manusia pada domain tertentu, mampu beradaptasi dan belajar agar dapat bekerja lebih baik jika terjadi perubahan lingkungan. Soft computing mengeksploitasi adanya toleransi terhadap ketidaktepatan, ketidakpastian, dan kebenaran parsial untuk dapat diselesaikan dan dikendalikan dengan mudah agar sesuai dengan realita. Metoda-metoda pokoknya meliputi: 1. Sistem Fuzzy (mengakomodasi ketidaktepatan), Logika Fuzzy (fuzzy logic). 2. Jaringan Syaraf Tiruan (Artificial Neural Network). 3. Probabilistic Reasoning (mengakomodasi ketidakpastian). 4. Evolutionary Computing (optimasi) Algoritma Genetika. Dengan sistem hibrid, percobaan-percobaan dibuat untuk menggabungkan kedua kelompok ini. Aturan inferensi pakar dapat dibangkitkan melalui jaringan syaraf atau aturan produksi dari pembelajaran statistik 16
Learning Machine Sub bidang AI yang cepat berkembang dan popular. Berbasis soft computing Biasanya ditujukkan untuk tugas/fungsi tertentu, seperti: Clustering
Mengelompokkan items yang sama (sejenis) Categorization mengkategorikan suatu teks gambar, berita, atau intormasi. Recognition Seperti ucapan, suara, tulisan tangan Game playing Misalnya Catur Autonomous performance Misalnya robot yang bermain sepakbola atau menavigasi dirinya sendiri.
17
Jenis-jenis Klasifikasi Machine Learning berdasarkan jenis aplikasinya berbasis Multivariate Analysis (Patel 2014) Multivariate Analysis
Dimensional reduction
Unsupervised - MDS - PCA - SOM - ICA - CA
Supervised - LDA - PLS - FSS
Classifiers
Regression - PCR - MLR - CCR
Neural Sets - MLP - RBF - PNN
Clustering
Others - K-NN - SVM - ART - GA - FUZZY
- K-means - HC - SOM Kohonen
18
Up to date Jenis Machine learning
19
Bidang Aplikasi AI
Bidang aplikasi AI dikelompokkan ke dalam empat teknik yang ada di AI, yaitu : 1. Searching,
2. Reasoning, 3. Planning dan 4. Learning and adaptation
20
Pohon AI dan aplikasi utamanya
21
Aplikasi AI ARTIFICIAL INTELLIGENCE
Aplikasi Ilmu Falsafah
Aplikasi Ilmu Komputer
Aplikasi Robotika
Aplikasi Bahasa Alami
v Sistem Pakar v Sistem Berbasis Pengetahuan v Sistem Belajar v sistem Logic Fuzzy
v Generasi Kelima Komputer v Pemrosesan Pararel v Pemrosesan Simbolik v Jaringan Neural
v Persepsi Visual v Perabaan v Decterity v Pengangkuta n v Navigasi
v Pengertian Bahasa v Pidato Pengakuan v Penterjemahan Bahasa
22
AI Technique: a brief Introduction to Artificial Neural Network (ANN)
23
Apa itu ANN? Mengadopsi cara kerja jaringan syaraf biologis manusia, terutama dalam mengingat dan pembelajaran. Elemen pemroses utama dalam jaringan syaraf biologis adalah Neuron.
1)
Menerima input dari sumber luar,
2)
Menggabungkannya dalam cara tertentu,
3)
Melakukan operasi linier umum pada hasilnya.
4)
Output sebagai hasil akhir.
Otak manusia mempunyai sekitar 100 Juta neuron. Sedangkan pada seokor semut terdapat sekitar 250 ribu neuron 24
axon
dendrites
synapses the basis learning and memory
25
Biological inspiration The spikes travelling along the axon of the pre-synaptic neuron trigger the release of neurotransmitter substances at the synapse. The neurotransmitters cause excitation or inhibition in the dendrite of the post-synaptic neuron. The integration of the excitatory and inhibitory signals may produce spikes in the post-synaptic neuron. The contribution of the signals depends on the strength of the synaptic connection. axon
synapses
dendrites
26
Artificial neurons Pemodelan neuron dengan Model McCullogh-Pitts. Kerja Neuron berdasarkan pemrosesan informasi masuk dan keluar, dalam bentuk spikes. synaptic strength synaptic weight
x1
w1
x2 Inputs
.
y
i 1
w3
…. .
xn
z wi xi ; y H ( z)
w2
x3
xn-1
Output
n
excitation (+) or inhibition (-)
wn-1 wn
Model McCullogh-Pitts 27
Arsitektur ANN 1. Perceptron (Single layer) 2. Multi Layer Feedforward Neural Network 3. Recurrent Neural Network
28
Perceptron (single Layer) Neuron Model
Output perceptron = 1 jika sum fungsi alih dari input adalah 0, jika tidak maka output neuron adalah 0. Akitivasi hard limiter.
Architecture
Decision boundaries x1-x2= -1 x2
x1-x2=0 x1-x2= 1
x1
29
Bagaimana untuk masalah yang tidak dapat dipisahkan secara linier?
Solution?
30
Mengapa dibutuhkan Multi Layer ?
Untuk contoh masalah yang dapat dipisahkan secara linier:
x y
x y
• Untuk contoh masalah yang tidak dapat dipisahkan secara linier :
x y
Solution?
31
Performa ANN arsitektur dengan jumlah layer yang berbeda
1 layer
Linear boundaries
2 layer
Combine boundaries
3 layer
arbitrarily complex boundaries 32
Multi Layer Feedforward Neural Network
Terdapat Layer tambahan (Hidden Layer) diantara Input dan Output Layer X1
V11
Z1
W11
V12
Y1
W12 W1k
V1j W21
V21
X2
V22
Z2
W22
Y2
W2k V2j Wj1
Vi1
MLFFNN 2-4-4-1
Vi2
Xi Input Layer (i)
Vij
Wj2
Zj
Wjk
Hidden Layer (j)
Hidden layer + Output neurodes
MLFFNN 3-3-3
Yk Output Layer (k) 33
Fungsi Aktivasi
Yang umum dan general di gunakan dalam MLFFNN adalah Sigmoid.
34
Metode Pembelajaran
Supervised learning In supervised training, both the inputs and the outputs are provided. The network then processes the inputs and compares its resulting outputs against the desired outputs. Errors are then propagated back through the system, causing the system to adjust the weights which control the network. This process occurs over and over as the weights are continually tweaked. The set of data which enables the training is called the training set. During the training of a network the same set of data is processed many times as the connection weights are ever refined. Example: Multilayer NN dengan Algortima BackPropagation
Unsupervised learning In unsupervised training, the network is provided with inputs but not with desired outputs. The system itself must then decide what features it will use to group the input data. This is often referred to as self-organization or adaption. Example: Kohonen NN (Self Organising Maps) 35
Aplikasi ANN
classification in marketing: consumer spending pattern classification In defence: radar and sonar image classification In agriculture & fishing: fruit and catch grading In medicine: ultrasound and electrocardiogram image classification, EEGs, medical diagnosis recognition and identification In general computing and telecommunications: speech, vision and handwriting recognition In finance: signature verification and bank note verification assessment In engineering: product inspection monitoring and control In defence: target tracking In security: motion detection, surveillance image analysis and fingerprint matching forecasting and prediction In finance: foreign exchange rate and stock market forecasting In agriculture: crop yield forecasting In marketing: sales forecasting
36
Face Recognition
37
90% accurate learning head pose, and recognizing 1-of-20 faces
Electronic-Nose
Soil type and CY8C28445PCA NN 24PVXI fertilizer dose? Sensing Interface Preprocessor Pattern Recognation (Olfactory Receptor) (Olfactory Nerve) (Olfactory bulb) (Olfactory Cortex)
3 TGSs and 3 FISs
PSoC
38
TERIMA KASIH
39
