Pembelajaran Induktif Model Bayesian

Pembelajaran Induktif Model Bayesian (Ringkasan teori kecerdasan tiruan dalam format slide)

Oleh

Dr. Ir.Saludin, M Kom

ii

Kata Pengantar

Ide untuk menyajikan dalam bentuk format slide yang enak dibaca dan mudah dipahami muncul ketika penulis temukan topik bahan Bayesian ini di arsip, dimana topik bahan ini merupakan bagian dari metode pembelajaran mesin cerdas atau bagian dari bahan pengetahuan kecerdasan tiruan yang menjadi trend aplikasi di masa depan. Penulis berusaha menyajikan dalam bentuk bahasa sederhana mungkin agar pembaca terutama dari kalangan pelajar dapat menangkap esensinya dengan cepat. Semoga bahan ringkasan dalam bentuk slide ini bermanfaat bagi pembaca baik dari kalangan adik-adik pelajar maupun praktisi yang berkecimpung dalam bidang pembelajaran kecerdasan tiruan. Tentu, bentuk ringkasan yang memudahkan dapat menjadi sebuah kekurangan karena tidak berupa teks buku yang menerangkan secara panjang lebar, karena itu perbaikan yang terus dilakukan untuk melengkapi apa yang dirasakan masih kurang merupakan jalan bijak menuju kepada kepuasan yang diharapkan pembaca. Hanya dengan itulah sesuatu yang disajikan dapat dijadikan lebih baik dari waktu ke waktu. Untuk itu saran dan kritik pembaca, sangat diharapkan untuk perbaikan buku ini. Pada kesempatan ini, dari lubuk hati penulis terdalam, penulis mengucapkan terima kasih setulusnya kepada 6 orang yang berperan besar dan merubah perjalanan hidup penulis, yaitu Ibu Saini (Alm), T. Oh Huan (Alm), Albert Ray J, Alexander Rex., Ibu Maria Dwi K ,dan Ibu RajaniTjandra.

iii

Daftar Isi

Kata Pengantar........................................................................................................................................

.ii

Daftar Isi.................................................................................................................................................

iii

Pendahuluan ........................................................................................................................................... v Bab 1

Pengantar : Pembelajaran Induktif Model Bayesian ...............................................................

1

Bab 2

Pembelajaran Kasus Dasar 1 : Melempar Koin ....................................................................... 7

Bab 3

Pembelajaran Kasus Dasar 2 : Aturan-Aturan Dan Kesamaan ...............................................

19

Bab 4

Pembelajaran Kasus Lanjutan 1 : Kausalitas ..........................................................................

29

Bab 5

Pembelajaran kasus Lanjutan 2 : Ciri / Sifat ..........................................................................

47

Lampiran ...............................................................................................................................................

67

Daftar Perpustakaan ..............................................................................................................................

76

iv

Pengantar: Pembelajaran Induktif Model Bayesian

BAB 1 PENGANTAR : PEMBELAJARAN INDUKTIF MODEL BAYESIAN

1

2

Teknik Akuisisi Target dan Penjejakan Obyek (Aplikasi Kecerdasan Tiruan)

Model Bayesian dalam pengetahuan kognitif

Pembelajaran Induktif Model Bayesian

 Visi  Kontrol Motor  Memori  Bahasa  Pembelajaran Induktif and pemikiran….

4

1

Apa yang diharapkan

Lompatan induktif tiap hari  Konsep pembelajaran dan contoh kata-kata

 Apa yang anda peroleh dari bahan ini :  Tinjauan umum apa yang model Bayesian tawarkan untuk

pengetahuan kognitif

“horse”

 Contoh mendalam model sederhana dan lanjutan :

bagaimana matematis bekerja dan mengesankan kamu  Beberapa contoh pendekatan lain

“horse”

“horse” 5

2

Konsep pembelajaran dan kata-kata “tufa” “tufa” “tufa”

Pengantar

3

6

Dapatkah kamu memilih tufas?


3

Tantangan :

Pemikiran induktif

 Bagaimana kita generalisasi secara berhasil dari data

sangat terbatas ?

Masukan: Sapi bisa kena penyakit A. Monyet bisa kena penyakit A.

 Hanya satu atau sedikit sampel  Sering hanya sampel-sampel positif

(premis)

 Filosofis :  Induksi adalah sebuah “problem”, “teka teki”, “paradok”,

“skandal”, or “mitos”.

(kesimpulan)

Semua mamalia bisa kena penyakit A.

 Mesin pembelajaran dan statistik :  Fokus pada generalisasi dari banyak sampel, baik positif dan

Tugas: Menilai seberapa mungkin kesimpulan menjadi benar, jika diberikan premis benar

7

Menyimpulkan hubungan sebab akibat

negatif.

10

Kesimpulan Rasional secara statistik (Bayes, Laplace)

Masukan : Hari 1 Hari 2 Hari 3 Hari 4 ...

Minum vitamin B23

Sakit kepala

ya ya tidak ya ...

tidak ya ya tidak ...

Probabilitas sesudah

p(h | d ) 

Apakah vitamin B23 menyebabkan sakit kepala ?

Tugas: Menilai kemungkinan kaitan kausal, bila diberikan beberapa pengamatan terkait /berhubungan.

8

kemungkinan

Probabilitas sebelum

p(d | h) p(h)  p(d | h) p(h) hH Jumlah semua ruang hipotesis

11

Model Bayesian pembelajaran induktif : beberapa acuan terbaru

Lompatan induktif tiap hari Bagaimana kita dapat belajar banyak mengenai….  Sifat-sifat jenis alamiah

 Shepard (1987)  Analysis of one-shot stimulus generalization, to explain the universal exponential law.

 Makna kata-kata  Hasil mendatang dari proses dinamik  Sifat-sifat kausal tersembunyi sebuah obyek

 Anderson (1990)  Models of categorization and causal induction.

 Penyebab asli seseorang (keyakinan, tujuan)  Hukum kausal mengendalikan sebuah domain

 Oaksford & Chater (1994)  Model of conditional reasoning (Wason selection task).

. . . …… dari data terbatas demikian ?

 Heit (1998)  Framework for category-based inductive reasoning. 9

12

4


Struktur dan statistik

Teori- Model Dasar Bayesian  Penyimpulan statistik secara rasional (Bayes):

 Kerangka untuk memahami bagaimana pengetahuan

terstruktur dan kesimpulan secara statistik berinteraksi

p ( d | h) p ( h) p( h | d )   p(d | h) p(h)

 Bagaimana pengetahuan terstruktur menuntun kesimpulan secara

statistik, dan memperoleh dirinya melalui pembelajaran statistik order lebih tinggi. Hirarki Bayes.

hH

 Bagaimana kesederhanaan pertukaran yang cocok untuk data dalam

 Teori domain pembelajar menghasilkan ruang hipotesis mereka

mengevaluasi hipotesis struktural.

H dan p(h) sebelumnya.

Pisau cukur Occam Bayesian.

 Sangat cocok untuk struktur dunia nyata/alamiah.  Dapat dipelajari dari data terbatas.  Kesimpulan mudah dikerjakan secara komputasi.

13

 Bagaimana kompliksitas struktur meningkat dapat tumbuh

sebanding dibutuhkan data baru, dari pada dispesifikasikan sebelumnya /awal. bukan-parametrik Bayes. 16

Pendekatan alternatif untuk generalisasi induktif

Apa teori itu ?  Definisi kerja  Sebuah ontologi dan sistem prinsip abstrak yang

 Pembelajaran asosiatif

menghasilkan sebuah ruang hipotesis pada kandidat struktur- struktur dunia sepanjang probabilitas- probabilitas relatif mereka.

 Jaringan koneksionis  Kesamaan contoh-contoh

 Analogi terhadap tatabahasa dalam bahasa.

 Peralatan heuristik sederhana

 Contoh : Hukum Newton

 Pembatas kepuasan  Analogis pemetaan

14

17


Analisis 3 level Marr


 Komputasi :

terstruktur dan kesimpulan secara statistik berinteraksi.

“Apa tujuan komputasi, kenapa ini pantas /sesuai, dan apa logika strategi dengan mana ia dapat dikerjakan ?”

 Bagaimana pengetahuan terstruktur menuntun kesimpulan secara

statistik, dan memperoleh dirinya melalui pembelajaran statistik order lebih tinggi.

 Representasi dan algoritma :

Psikologi kognitif

 Bagaimana kesederhanaan pertukaran yang cocok untuk data dalam

mengevaluasi hipotesis struktural.

 Implementasi :

Neurobiologi

 Bagaimana kompliksitas struktur meningkat dapat tumbuh

sebanding dibutuhkan data baru, dari pada dispesifikasikan sebelumnya /awal.

15

18


Kenapa Bayes?  Kerangka untuk menyelesaikan kognitif.  Bagaimana orang dapat belajar benar dari data terbatas.  Kenapa model proses bekerja dengan cara yang mereka lakukan.  Model kuantitatif kuat dengan minimal asumsi ad hoc.  Kerangka untuk memahami bagaimana pengetahuan

terstruktur dan kesimpulan secara statistik berinteraksi  Bagaimana pengetahuan terstruktur menuntun kesimpulan secara

statistik, dan memperoleh dirinya melalui pembelajaran statistik order lebih tinggi.  Bagaimana kesederhanaan pertukaran yang cocok untuk data dalam mengevaluasi hipotesis struktural. (pisau cukur Occam).  Bagaimana kompliksitas struktur meningkat dapat tumbuh sebanding dibutuhkan data baru, dari pada dispesifikasikan sebelumnya /awal. 19

5

6


Pembelajaran Kasus Dasar 1: Melempar Koin

BAB 2 PEMBELAJARAN KASUS DASAR 1: MELEMPAR KOIN

7

8


Aturan Bayes Untuk data D dan hipotesis H, kita punya :

Pembelajaran Kasus Dasar 1

P( H | D ) 

P ( H ) P( D | H ) P(D)

 “Probabilitas sesudah”:

P( H | D) P(H ) P( D | H )

 “Probabilitas sebelum”:  “kemungkinan”: 4

1

Asal aturan Bayes  Konsekuensi sederhana menggunakan probabilitas

Melempar Koin

untuk representasi derajat kepercayaan  Untuk tiap 2 variabel acak :

p( A & B )  p ( A) p ( B | A) p( A & B )  p ( B ) p ( A | B )

p ( B) p ( A | B)  p ( A) p ( B | A) p( A | B )  2

5

p( A) p ( B | A) p( B)

Kenapa representasi derajat kepercayaan dengan probabilitas?

Melempar koin

 Statistik yang baik  konsistensi, dan batasan kasus kesalahan terburuk.

HHTHT HHHHH

 Aksioma Cox  perlu berpadu dengan logika umum

 “Buku Dutch ” + kelangsungan hidup uji layak  jika kepercayaan kamu tidak sesuai dengan hukum

probabilitas, maka kamu dapat selalu kalah berjudi dengan seseorang yang memiliki kepercayaan sesuai.  Memberikan sebuah teori pembelajaran  Satu hal berlaku umum adalah untuk menggabungkan

pengetahuan sebelumnya dan pelajaran dari pengalaman.

Proses apa menghasilkan urutan ini ? 3

6


9

Hipotesis dalam pelemparan koin

Aturan Bayes Untuk data D dan hipotesis H, kita punya : P( H | D ) 

 “Probabilitas sesudah”:

Menggambarkan proses dengan mana D dapat dihasilkan

D = HHTHT

P ( H ) P( D | H ) P(D)

 Koin wajar, P(H) = 0.5  Koin dengan P(H) = p

P( H | D)

 Model Markov

 “Probabilitas sebelum”:  “Kemungkinan”:

P(H ) P( D | H )

Model generatif

 Model Hidden Markov  ...

7

10

Representasi model generatif

Hipotesis pada kesimpulan Bayesian  Hipotesis H mengacu pada proses yang telah

 Notasi model grafik

menghasilkan data D

 Pearl (1988), Jordan (1998)

 Kesimpulan Bayesian memberikan sebuah distribusi

 Variabel adalah simpul, tepi

atas hipotesis ini, diberikan D  P(D|H) adalah probabilitas pada D dihasilkan oleh proses diidentifikasi oleh H  Hipothesis H adalah eksklusif mutualis : hanya satu proses dapat telah menghasilkan D

menunjukkan ketergantungan

d1

d2

d3

d4

Koin wajar , P(H) = 0.5

 Tepi langsung memperlihatkan

proses kausal pembangkitan data

d1

d2

d3

d4

Model Markov

HHTHT d1 d2 d3 d4 d5 11

8

Hipotesis dalam pelemparan koin

Model dengan struktur tersembunyi

Menggambarkan proses dengan mana D dapat dihasilkan

• Tidak semua simpul dalam sebuah model grafik perlu diamati • Beberapa variabel mencerminkan struktur tersembunyi, digunakan dalam menghasilkan D tapi tidak teramati

D = HHTHT  Koin wajar, P(H) = 0.5  Koin dengan P(H) = p  Model Markov

Model statistik

 Model Hidden Markov

HHTHT

 ...

d1 d2 d3 d4 d5 9

12

p d1

d2

d3

d4

P(H) = p s1

s2

s3

s4

d1

d2

d3

d4

Model Hidden Markov

10


Aturan Bayes dalam bentuk ganjil

Pelemparan koin  Membandingkan 2 hipotesis sederhana

P(H1|D) P(H2|D)

 P(H) = 0.5 vs. P(H) = 1.0

 Membandingkan hipotesis sederhana dan kompleks  P(H) = 0.5 vs. P(H) = p

D: H1, H2: P(H1|D): P(D|H1): P(H1):

 Membandingkan banyak hipotesis tak terbatas  P(H) = p

 Psikologis: Kerepresentatifan

13

=

P(D|H1) P(D|H2)

P(H1)

x P(H ) 2

data model probabilitas sesudah H1 hasilkan data kemungkinan data dibawah model H1 probabilitas sebelum H1 hasilkan data

16

Pelemparan koin

Pelemparan koin  Membandingkan 2 hipotesis sederhana  P(H) = 0.5 vs. P(H) = 1.0

HHTHT HHHHH




Proses apa menghasilkan urutan ini ? 17

14

Membandingkan 2 hipotesis sederhana


P(H1|D) P(H2|D)

 Hipotesis sederhana kontras:  H1: “koin wajar”, P(H) = 0.5  H2:“selalu sisi muka”, P(H) = 1.0

P(D|H1) P(D|H2)

x P(H1) P(H2)

D: HHTHT H1, H2: “koin wajar”, “selalu muka” P(D|H1) = 1/25 P(H1) = 999/1000 P(D|H2) = 0 P(H2) = 1/1000

 Aturan Bayes :

P( H | D ) 

=

P ( H ) P( D | H ) P(D)

 Dengan 2 hipotesis, gunakan bentuk ganjil

P(H1|D) / P(H2|D) = tidak terbatas 15

18


11

Membandingkan 2 hipotesis sederhana P(H1|D) P(H2|D)

=

P(D|H1) P(D|H2)


P(H1)

x P(H2)

 P(H) = 0.5 vs. P(H) = 1.0

 Membandingkan hipotesis sederhana dan kompleks

D: HHHHH H1, H2: “koin wajar”, “selalu muka” P(D|H1) = 1/25 P(H1) = 999/1000 P(D|H2) = 1 P(H2) = 1/1000

 P(H) = 0.5 vs. P(H) = p



P(H1|D) / P(H2|D)  30 19

22

Membandingkan 2 hipotesis sederhana P(H1|D) P(H2|D)

=

P(D|H1) P(D|H2)

Membandingkan hipotesis sederhana dan kompleks

P(H1)

p

x P(H2) d1

D: HHHHHHHHHH H1, H2: “koin wajar”, “selalu muka” P(D|H1) = 1/210 P(H1) = 999/1000 P(D|H2) = 1 P(H2) = 1/1000

d4

vs.

d1

d2

d3

d4

P(H) = p

 Yang memberikan sebuah akun data lebih baik :

hipotesis sederhana pada koin wajar, atau hipotesis kompleks bahwa P(H) = p ? 23



 Aturan Bayes mengatakan bagaimana untuk

 P(H) = p adalah lebih kompleks dari pada P(H) = 0.5

menggabungkan kepercayaan sebelum dengan data baru

dalam 2 cara :

 Pengaruh-pengaruh top-down and bottom-up

 untuk tiap urutan teramatan X, kita dapat memilih p

 P(H) = 0.5 adalah kasus khusus dari P(H) = p

sedemikian sehingga X adalah lebih mungkin dari jika P(H) = 0.5

 Sebagai sebuah model kesimpulan manusia  prediksi penarikan kesimpulan dari data  identifikasi titik pada mana kepercayaan sebelum

dibanjiri oleh pengalaman-pengalaman  Tetapi… kasus-kasus lebih kompleks ?

21

d3

Koin wajar, P(H) = 0.5

P(H1|D) / P(H2|D)  1 20

d2

24

12



Membandingkan hipotesis sederhana dan kompleks  P(H) = p lebih kompleks dari P(H) = 0.5 dalam 2 hal :  P(H) = 0.5 adalah kasus khusus dari P(H) = p  Untuk tiap urutan X teramati, kita dapat pilih p sedemikian

P

sehingga X lebih mungkin dari pada jika P(H) = 0.5  Bagaimana kita dapat lakukan ini?  Paling sering : pengujian hipotesis

 informasi teoritikus: deskripsi panjang minimum

 Bayesian: hanya menggunakan teori probabilitas !

25

28


Membandingkan hipotesis sederhana dan kompleks P(H1|D) P(H2|D)

P(D|H1)

P(H1)

= P(D|H2) x P(H2)

Hitung P(D|H1) adalah mudah:

P(D|H1) = 1/2N

HHHHH

p = 1.0

26

Hitung P(D|H2) dengan merata-rata atas p :

29



HHTHT p = 0.6

27

Distribusi adalah rata-rata atas semua nilai p

30


13


Membandingkan banyak hipotesis secara tak terbatas  Anggap data dihasilkan dari sebuah model:

P

p d1

d2

d3

d4

P(H) = p

 Apa nilai pada p ?


 tiap nilai p adalah sebuah hipotesis H

 Memerlukan kesimpulan atas banyak hipotesis secara tak

terbatas

31

34


Membandingkan banyak hipotesis secara tak terbatas  Lempar sebuah koin 10 kali dan lihat 5 muka/H, 5 ekor/T.

 Hipotesis sederhana dan kompleks dapat dibandingkan

secara langsung menggunakan aturan Bayes

 P(H) pada lemparan berikut ? 50%

 Memerlukan penjumlahan atas variabel tersembunyi

 Kenapa ? 50% = 5 / (5+5) = 5/10.

 Hipotesis kompleks dihukum untuk fleksibilitas mereka

 “Berikut akan seperti sebelumnya.”

yang lebih besar : “pisau cukur Occam Bayesian”  Prinsip ini digunakan pada model metode seleksi dalam psikologi.

 Diduga kita telah melihat 4 muka dan 6 ekor.

 P(H) pada lemparan berikut ? Dekat ke 50% dari pada

40%.

 Kenapa ? Pengetahuan terdahulu /sebelumnya.

32

35

Integrasi pengetahuan sebelum dan data

Pelemparan koin

 Membandingkan 2 hipotesis sederhana

P( H | D ) 

 P(H) = 0.5 vs. P(H) = 1.0


P ( H ) P( D | H ) P(D)

P(p | D)  P(D | p) P(p)


 Distribusi sesudahnya P(p | D) adalah sebuah probabilitas


kerapatan atas p = P(H)

 Perlu untuk meninggalkan kemungkinan P(D | p) dan

menspesifikasi distribusi sebelumnya P(p)

33

36

14


Kemungkinan dan sebelumnya

Konjugat sebelum

 Kemungkinan :  Terdapat pada banyak distribusi standar

P(D | p) =

pNH

 formula untuk rumpun konjugat eksponensial

(1-p)NT

 Definisikan sebelum untuk pengamatan kayalan  Beta adalah konjugat untuk Bernoulli (lemparan koin)

 NH: banyaknya muka /H  NT: banyaknya ekor /T

 Sebelum :

FH = FT = 1 FH = FT = 3 FH = FT = 1000

?

P(p)  pFH-1 (1-p)FT-1

37

40

Metode sederhana dalam menspesifikasi sebelum

Kemungkinan dan sebelum  Kemungkinan :

P(D | p) = pNH (1-p)NT

 Bayangkan beberapa percobaan kayalan,

mencerminkan himpunan pengalaman sebelumnya  Strategi sering digunakan dengan jaringan syaraf

 NH: banyaknya muka

 contoh, F ={1000 muka, 1000 ekor} ~ ekspektasi kuat

 NT: banyaknya ekor

bahwa tiap koin baru akan bersifat wajar.

 Sebelumnya :

P(p)  pFH-1 (1-p)FT-1  Kenyataan, ini adalah sebuah ide statistik sensitif .......  FH: pengamatan kayalan untuk muka  FT: pengamatan kayalan untuk ekor 38

41

Membandingkan banyak hipotesis secara tak terbatas

Kemungkinan dan sebelum  Kemungkinan :

P(D | p) = pNH (1-p)NT

P(p | D)  P(D | p) P(p) = pNH+FH-1 (1-p)NT+FT-1

 NH: banyaknya muka

 Sesudah adalah Beta(NH+FH,NT+FT)

 NT: banyaknya ekor

 bentuk sama seperti konjugat sebelum

 Sebelumnya :

P(p)  pFH-1 (1-p)FT-1

 Sesudah berarti :

Beta(FH,FT)  Prediktif distribusi sesudah:

 FH: pengamatan kayal untuk muka  FT: pengamatan kayal untuk ekor 39

42


15

Problem dengan empirisme sederhana

Beberapa contoh  Contoh, F ={1000 muka, 1000 ekor} ~ ekspektasi kuat

bahwa tiap koin baru akan bersifat wajar

 Tidak benar-benar melihat 2000 lemparan koin , atau tiap

lemparan paku payung

 Cetelah lihat 4 muka, 6 ekor, P(H) pada lemparan

 Pengetahuan sebelum lebih kuat dari penilaian pengalaman mentah  Tidak melihat secara tepat jumlah sama muka dan ekor  Pengetahuan sebelum lebih halus dari pada penilaian pengalaman mentah  Harusnya ada perbedaan antara mengamati 2000

berikut = 1004 / (1004+1006) = 49.95%  Contoh, F ={3 muka, 3 ekor} ~ ekpektasi lemah bahwa tiap koin baru akan bersifat wajar  Setelah lihat 4 muka, 6 ekor, P(H) pada lemparan berikut = 7 / (7+9) = 43.75% Pengetahuan terdahulu/ sebelum terlalu lemah 43

lemparan pada koin tunggal terhadap pengamatan tiap10 lemparan untuk 200 koin, atau tiap1 lemparan untik 2000 koin  Pengetahuan sebelum lebih terstruktur dari pengalaman mentah 46

Teori sederhana

Tetapi… lemparan paku payung

 “Koin dibuat dengan prosedur terstandarkan yang efektif

 contoh, F ={4 muka, 3 ekor} ~ ekpektasi lemah bahwa

paku agak bias ke arah muka/kepala  Setelah lihat 2 muka, 0 ekor, P(H) lemparan berikut = 6 / (6+3) = 67%

tetapi tidak sempurna.”

 Beberapa pengetahuan sebelum selalu perlu untuk

 Menjelaskan kenapa melihat tiap 10 lemparan untuk 200

 Menilai generalisasi dari koin sebelum terhadap koin

sekarang.  Menilai lebih halus dan lebih kuat sebelum dari pada

pengalaman mentah tersendiri.

menghindari loncat ke kesimpulan terburu-buru...

koins adalah lebih berharga dari pada melihat 2000 lemparan dari satu koin.

 Misalkan F = { }: Setelah lihat 2 muka, 0 ekor, P(H)

pada lemparan berikut = 2 / (2+0) = 100%

 “Paku adalah tidak simetris, dan dibuat kurang benar-

benar standar.” 44

47

Asal pengetahuan sebelum

Pembatasan :

 Jawaban menggoda : pengalaman sebelumnya

 Dapatkah semua domain pengetahuan

 Semestinya kamu telah melihat sebelumnya 2000

direpresentasikan sangat sederhana, dalam hal banyaknya ekivalen pada pengamatan kayalan ?  Diduga kamu melempar sebuah koin 25 kali dan didapat semua muka. sesuatu yang lucu sedang terjadi ……  Tetapi dengan F ={1000 muka, 1000 ekor}, P(H) pada lemparan berikut = 1025 / (1025+1000) = 50.6%. tampaknya tidak ada yang tidak wajar

lemparan koin: 1000 muka, 1000 ekor  Dengan asumsi semua koin (dan lemparan) adalah

sama, pengamatan ini pada koin lain sebaik pengamatan pada koin sekarang.

45

48

16


Lebih banyak untuk hirarki sebelum

Hirarki sebelum

Pengetahuan fisik  Hipotesis order lebih tinggi : apakah

koin ini wajar atau tidak ?

FH,FT

fair

 Contoh probabilitas:  P(wajar) = 0.99  P(p|wajar) adalah Beta(1000,1000)  P(p|tak wajar) adalah Beta(1,1)

p

 25 muka pada baris merambat naik,

d1

pengaruhi p dan maka P(wajar|D)

d2

p d3

d1

d4

d2

p d3

d4

d1

d2

p d3

d4

d1

d2

d3

d4

 Kepercayaan diskrit (contoh, simetri) dapat pengaruhi

estimasi pada sifat-sifat kontinu (contoh. FH, FT) 49

52

Membandingkan banyak hipotesis secara tak terbatas

P(wajar|25 muka) P(25 muka|wajar) P(wajar) = 9 x 10-5 = P(tak wajar|25 muka) P(25 muka|tak wajar) P(tak wajar)

 Menerapkan aturan Bayes untuk memperoleh

probabilitas kerapatan sesudah  Memerlukan sebelum atas semua hipotesis  komputasi disederhanakan oleh konjugat sebelum  struktur lebih kaya dengan hirarki sebelum

 Hirarki sebelum menunjukkan bagaimana teori

sederhana dapat menerangkan kesimpulan secara statistik  satu langkah ke struktur dan statistik

50

53

Lebih banyak untuk hirarki sebelum


 Struktur tersembunyi dapat menangkap variabilitas koin

Koin 1

Koin 2

p


...

p

 P(H) = 0.5 vs. P(H) = 1.0

p ~ Beta(FH,FT)

FH,FT

p Koin 200


d1

d2

d3

d4

d1

d2

d3

d4

d1

d2

d3


d4

 10 lemparan dari 200 koin lebih baik dari 2000 lemparan dari

koin tunggal: memungkinkan estimasi FH, FT 51

54


17

Penilaian kerepresentatifan

Psikologi: Kerepresentatifan Yang mana urutan lebih mungkin dari sebuah koin wajar ?

HHTHT HHHHH 55

58

Hasil-hasil

Apa maksud kerepresentatifan?

 Akun kerepresentatifan data baik, dengan 3 pseudo-

Bukti untuk sebuah proses pembangkitan acak P(H1|D) P(H2|D)

P(D|H1) = P(D|H2)

bebas parameter,  = 0.91  “selalu berubah” berarti 99% dari waktu

P(H1) x P(H2)

 “umumnya muka” berarti P(H) = 0.85  “selalu muka” berarti P(H) = 0.99

rasio kemungkinan  Dengan menskala parameter, r = 0.95

H1: proses acak (koin wajar) H2: alternatif proses 56

59

Peran teori-teori

Ruang hipotesis dibatasi

Kenyataan bahwa HHTHT melihat representatif sebuah koin wajar dan HHHHH tidak mencerminkan teori implisit kita mengenai bagaimana dunia bekerja.

4 hipotesis:

57

h1

koin wajar

h2

“selalu berubah”

h3

“umumnya muka”

h4

“selalu muka”

HHTHTTTH HTHTHTHT HHTHTHHH HHHHHHHH

 Mudah membayangkan bagaimana sebuah tipuan semua

koin muka dapat bekerja /terjadi : probabilitas sebelum tinggi.  Sulit membayangkan bagaimana sebuah tipuan koin “HHTHT” dapat bekerja/terjadi : probabilitas sebelum rendah.

60

18


Ringkasan  3 jenis kesimpulan Bayesian  bandingkan 2 hipotesis sederhana  bandingkan hipotesis sederhana dan kompleks  Bandingkan jumlah tak terbatas hipotesis

 Notasi kritis :  Model generatif, model grafis  Pisau cukur Occam Bayesian  Sebelum : konjugat, hirarki (teori-teori)

61

Pembelajaran Kasus Dasar 2: Aturan-aturan dan Kesamaan

BAB 3 PEMBELAJARAN KASUS DASAR 2: ATURAN-ATURAN DAN KESAMAAN

19

20


Metafora yang lebih baik

Pembelajaran Kasus Dasar 2

1

4

Metafora yang lebih baik Aturan-Aturan dan Kesamaan

2

5


Struktur dibandingkan statistik Aturan-aturan Logika Simbol-simbol

Statistik Kesamaan Tipikalitas

Statistik Kesamaan Tipikalitas

Aturan-aturan Logika Simbol-simbol 3

6



21

Game nomer

 Bab 2 : Pelemparan koin  Pembelajaran dan pemikiran dengan model-model

statistik terstruktur.

Contoh nomer “ya”

Penilaian generalisasi (N = 20)

 Bab 3 : Aturan-aturan dan kesamaan  Pembelajaran statistik dengan representasi terstruktur .

60 Kesamaan difusi

7

10

Game nomer

Game nomer Contoh nomer “ya”

Penilaian generalisasi (n = 20)

60 Kesamaan difusi

• Program masukan : nomer antara 1 dan 100 • Program keluaran: “ya” atau “tidak” 8

60 80 10 30

Aturan : “kelipatan 10”

11

Game nomer

Game nomer Contoh nomer “ya”


60 Kesamaan difusi

• Tugas pembelajaran : – Mengamati satu atau lebih contoh positif (“ya”). – Menilai apakah nomer lain adalah “ya” atau “tidak”. 9

60 80 10 30

Aturan: “kelipatan 10”

60 52 57 55

Fokus kesamaan : nomer dekat 50-60

12

22


Pembagian ke sub sistem “aturan” dan “kesamaan”

Game nomer

contoh-contoh Contoh nomer “ya”

 Pembelajaran kategori


 Nosofsky, Palmeri : RULEX  Erickson & Kruschke : ATRIUM

16

 Pemrosesan bahasa

Kesamaan difusi 16 8 2 64

 Pinker, Marcus : morpologi kalimat waktu lampau

 Pemikiran

Aturan : “pangkat 2”

 Sloman  Rips

16 23 19 20

Fokus kesamaan : nomer dekat 20

13

 Nisbett, Smith. 16

Game nomer

Aturan/kesamaan model campuran

60 Kesamaan difusi 60 80 10 30

Aturan : “kelipatan 10”

60 52 57 55

Fokus kesamaan : nomer dekat 50-60

 Kenapa 2 modul?  Kenapa modul-modul ini bekerja berdasarkan cara mereka melakukan

Fenomena dasar menjelaskan:

14

– Generalisasi dapat timbul baik dasar kesamaan (tingkatan) atau dasar aturan (semua-atau-tidak). – Pembelajaran hanya dari sedikit contoh positif.

dan berinteraksi sebagaimana mereka melakukan?  Bagaimana orang menyimpulkan sebuah aturan atau kesamaan metrik

dari sedikit contoh positif ? 17

Aturan/kesamaan model campuran  Pembelajaran kategori

Model Bayesian • H: Ruang hipotesis pada konsep yang mungkin : – – – – –

 Nosofsky, Palmeri : RULEX  Erickson & Kruschke : ATRIUM

h1 = {2, 4, 6, 8, 10, 12, …, 96, 98, 100} (“nomer genap”) h2 = {10, 20, 30, 40, …, 90, 100} (“kelipatan 10”) h3 = {2, 4, 8, 16, 32, 64} (“pangkat 2”) h4 = {50, 51, 52, …, 59, 60} (“nomer antara 50 dan 60”) ...

Representasional interpretasi untuk H: – Kandidat aturan-aturan – Fitur/ciri untuk kesamaan – “Konsekuensial subset” (Shepard, 1987) 15

18


Menyimpulkan hipotesis dari penilaian kesamaan

23

Ruang hipotesis dan teori  Kenapa sebuah ruang hipotesis seperti sebuah domain

Aditif pengelompokan (Shepard & Arabie, 1977) : : kesamaan rangsangan i, j

teori:

: bobot kelompok k

 Merepresentasi satu cara khusus dalam klasifikasi entitas pada

sebuah domain.

: anggota perangsang i dalam kelompok k

 Tidak hanya sebuah koleksi biasa dari hipotesis, tetapi sebuah

( 1 jika perangsang i dalam kelompok k, 0 untuk lainnya)

sistem terprinsip.  Apa yang hilang ?  Representasi eksplisit prinsip  Ruang hipotesis (dan sebelum) dihasilkan oleh teori-

Ekivalen dengan kesamaan sebagai jumlah terbobot pada fitur/ciri umum (Tversky, 1977)

sij   wk f ik f jk

teori. Beberapa analogi:

k

sij wk f ik

 Tatabahasa menghasilkan bahasa (dan mendahului semua

deskripsi struktural)  Pemodelan hirarki Bayesian 22

19

Aditif pengelompokan untuk bilangan bulat 0-9:

Model Bayesian • H: Ruang hipotesis dari konsep yang mungkin:


– Sifat-sifat matematis: genap, ganjil, persegi, prima, . . . . – Besaran pendekatan: {1-10}, {10-20}, {20-30}, . . . . – Besaran baris: semua interval antara 1 dan 100.

k Tingkat

Bobot

Rangsangan dalam kelompok

Interpretasi

0 1 2 3 4 5 6 7 8 9 1

.444

*

*

2

.345

* * *

3

.331

4

.291

5

.255

6

.216

*

7

.214

* * * *

8

.172

*

• X = {x1, . . . , xn}: n contoh konsep C. • Evaluasi hipotesis diberi data :

pangkat 2 nomer kecil

*

*

*

* * * *

*

p( h | X ) 

nomer besar nomer sedang

* * * * * *

kelipatan 3

*

*

* * * * *

p ( X | h ) p (h ) p( X )

nomer ganjil nomer agak kecil nomer lebih besar 23

20

3 sub ruang hipotesis untuk konsep nomer

– p(h) [“sebelum”]: domain pengetahuan, bias terdapat pada awal – p(X|h) [“kemungkinan”]: informasi statistik pada contoh. – p(h|X) [“sesudah”]: derajat kepercayaan bahwa h perluasan nyata dari C.

Model Bayesian • H: Ruang hipothesis dari konsep yang mungkin : – Sifat-sifat mathematis: genap, ganjil, persegi, prima, . . . . – Besaran pendekatan : {1-10}, {10-20}, {20-30}, . . . . – Besaran baris : semua interval antara 1 dan 100.

 Sifat-sifat matematis (24 hipotesis):  Ganjil, genap, persegi, kubus, bilangan prima  Kelipatan bilangan bulat kecil

• X = {x1, . . . , xn}: n contoh konsep C. • Evaluasi hipotesis diberi data:

 Pangkat bilangan bulat kecil

 Besaran baris (5050 hipotesis):  Semua interval pada bilangan bulat dengan titik ujung

antara 1 dan 100.

p (h | X ) 

 Besaran pendekatan (10 hipotesis):

hH

 Dekade (1-10, 10-20, 20-30, …)

21

p ( X | h) p ( h)

 p( X | h) p(h)

24

– p(h) [“sebelum”]: domain pengetahuan, bias terdapat pada awal – p(X|h) [“kemungkinan”]: informasi statistik pada contoh . – p(h|X) [“sesudah”]: derajat kepercayaan bahwa h perluasan nyata dari C.

24


Ilustrasi prinsip besaran

Kemungkinan : p(X|h) • Prinsip ukuran : Hipotesis lebih kecil menerima kemungkinan lebih besar, dan secara eksponensial lebih sebanding n meningkat.

h1

n

 1  p ( X | h)    jika x1 ,  , x n  size(h)   0 jika tiap x i  h

h

• Mengikuti dari asumsi pada contoh cuplikan secara acak.

2 12 22 32 42 52 62 72 82 92

4 14 24 34 44 54 64 74 84 94

6 16 26 36 46 56 66 76 86 96

8 10 18 20 28 30 38 40 48 50 58 60 68 70 78 80 88 90 98 100

h2

• Menangkap intuisi dari sampel representatif. Data jauh lebih kejadian yang kebetulan dalam h1 25

28

Ilustrasi prinsip besaran 2 12 22 32 42 52 62 72 82 92

4 14 24 34 44 54 64 74 84 94

6 16 26 36 46 56 66 76 86 96

8 10 18 20 28 30 38 40 48 50 58 60 68 70 78 80 88 90 98 100

h2

M1

Hukum “Kepercayaan konservatif”

P pd() = D

h1

Pisau cukur Occam Bayesian

M2

Semua himpunan data mungkin d

Untuk tiap model M,

26

29

Ilustrasi prinsip besaran h1

2 12 22 32 42 52 62 72 82 92

4 14 24 34 44 54 64 74 84 94

6 16 26 36 46 56 66 76 86 96

8 10 18 20 28 30 38 40 48 50 58 60 68 70 78 80 88 90 98 100

p (D  d | M )  1


h2


Data agak lebih kejadian yang kebetulan dalam h1

27



semua d D

30


25

Sebelum : p(h) Sesudah :

• Memilih ruang hipotesis mengandung sebuah sebelum yang kuat: secara efektif, p(h) ~ 0 untuk banyak mungkin secara logika tetapi secara konseptual hipotesis tidak alamiah.

p( h | X ) 

p ( X | h) p ( h)  p( X | h) p(h) hH

 X = {60, 80, 10, 30}

• Mencegah cocok berlebihan dengan spesifik tinggi tetapi hipotesis jadi tidak alamiah, contoh. “kelipatan 10 kecuali 50 dan 70”.

 Kenapa lebih menyukai “kelipatan 10” dari “nomer

genap ”? p(X|h).  Kenapa lebih menyukai “kelipatan 10” dari “kelipatan

10 kecuali 50 dan 20” ? p(h).  Kenapa sebuah generalisasi baik perlu sebelum tinggi

dan kemungkinan tinggi ? p(h|X) ~ p(X|h) p(h) 31

34

Sebelum : p(h)

Pisau cukur Occam Bayesian

• Memilih ruang hipotesis yang mengandung sebuah sebelum kuat : secara efektif, p(h) ~ 0 untuk banyak mungkin secara logika tetapi hipotesis tidak alamiah secara konseptual.

Probabilitas memberikan sebuah kejadian umum untuk menyeimbangkan kekompleksitas model sesuai dengan data.

• Mencegah cocok berlebihan dengan spesifik tinggi tetapi hipotesis jadi tidak alamiah, contoh “kelipatan 10 kecuali 50 dan 70”. • p(h) menyandi bobot relatif teori-teori alternatif H: Total ruang hipotesis p(H1) = 1/5

p(H2) = 3/5

H1: Sifat matematis (24) • nomer genap • pangkat 2 • kelipatan 3 …. 32 p(h) = p(H1) / 24

H2: Besarqn baris (5050) • 10-15 • 20-32 • 37-54 …. p(h) = p(H2) / 5050

p(H3) = 1/5

H3: Besaran pendekatan (10) • 10-20 • 20-30 • 30-40 ….

p(h) = p(H3) / 10

35

Pendekatan lebih kompleks untuk sebelum /priors

Generalisasi ke obyek baru Diberi p(h|X), bagaimana kita hitung p( y  C | X ) , probabilitas bahwa C berlaku ke beberapa rangsangan baru y ?

 Mulai dengan himpunan dasar keteraturan R dan kombinasi operator

C.  Ruang hipotesis = klosur R dalam C.  C = {dan, atau}: H = kesatuan dan intersepsi keteraturan pada R (contoh

“kelipatan 10 antara 30 dan 70”).  C = {dan- bukan}: H = keteraturan pada R dengan perkecualian (contoh

“kelipatan 10 kecuali 50 dan 70”).  2 secara kualitatif serupa dengan sebelum :  Deskripsi panjang : banyaknya kombinasi dalam C yang dibutuhkan untuk

menghasilkan hipotesis dari R.  Pisau cukur Occam Bayesian, dengan model kelas-kelas didefinisikan oleh

banyaknya kombinasi: lebih banyak kombinasi lebih rendah sebelum/prior. 33

lebih banyak hipotesis 36

26


Generalisasi ke obyek baru Hipotesis meratakan : Hitung probabilitas bahwa C berlaku ke beberapa obyek baru y dengan meratakan prediksi semua hipotesis h, diboboti oleh p(h|X):

p( y  C | X ) 

y  C | h) p ( h | X )  p( 

hH



 1 jika yh   0 jika yh



p( h | X )

h { y, X }

37

Contoh: 16 8 2 64

40

Contoh: 16

Contoh: 16 23 19 20

41

38

Model sesuai/cocok

Koneksi ke kesamaan berdasarkan fitur  Model Aditif pengelompokan pada kesamaan :


Contoh nomer “ya”

k  Hipotesis Bayesian meratakan :

p( y  C | X ) 



60

p ( X | h) p ( h)

h { y , X }





p (h | X )

60 80 10 30

h { y , X }  Ekivalen jika kita identifikasi fitur fk dengan hipotesis h, 39

dan bobot wk dengan p( h | X )

60 52 57 55 42


Model Bayesian (r = 0.96)


Model-model alternatif

Model sesuai/cocok contoh “ya” nomer


 Jaringan syaraf

Model Bayesian (r = 0.93)

16

genap

kelipatan kelipatan 10 3

pangkat 2

60 80 10 30

16 8 2 64

16 23 19 20 43

46


Ringkasan model Bayesian

 Jaringan syaraf  Hipotesis peringkat dan eliminasi

 Bagaimana statistik pada sampel berinteraksi

dengan pengetahuan sebelum untuk menuntut generalisasi ?

Hipotesis peringkat:

sesudah  kemungkinan  sebelum

2

3

kelipatan 10

kelipatan 3

4

….

pangkat 2

….

60 80 10 30

atau berdasarkan kesamaan ? hipotesis meratakan  prinsip ukuran

lebar p(h|X): kesamaan gradien sempit p(h|X): semua-atau-tidak ada aturan

1 genap

 Kenapa generalisasi muncul berdasarkan aturan

44

27

47


Ringkasan model Bayesian

 Jaringan syaraf  Hipotesis peringkat dan eliminasi

 Bagaimana statistik pada sampel berinteraksi

 Kesamaan tipe /jenis

dengan pengetahuan sebelum untuk menuntut generalisasi ?

 Rata-rata kesamaan :

p( y  C | X ) 

sesudah  kemungkinan  sebelum

1  sim( y, x j ) | X | x X j

60

 Kenapa generalisasi muncul berdasarkan aturan

atau berdasarkan kesamaan ?

60 80 10 30

hipotesis meratakan  prinsip ukuran

45

Banyak h pada kesamaan ukuran: lebar p(h|X) Satu h jauh lebih kecil : sempit p(h|X)

60 52 57 55 48

Data

Model (r = 0.80)

28


Ringkasan


 Generalisasi dari data terbatas mungkin melalui interaksi

 Jaringan syaraf

pada pengetahuan terstruktur dan statistik.

 Hipotesis peringkat dan eliminasi

 Pengetahuan terstruktur : ruang kandidat aturan-aturan, teori- teori

yang membangkitkan ruang hipotesis (misal hirarki sebelum)

 Kesamaan tipe/jenis

 Statistik: pisau cukur Occam Bayesian (Bayesian Occam’s razor).

 Maks kesamaan :

 Pemahaman interaksi lebih baik antara konsep berlawanan

p( y  C | X )  max sim ( y , x j )

secara tradisional:

x j X

 Aturan-aturan dan statistik  Aturan-aturan dan kesamaan

60

 Menjelaskan kenapa pusat tetapi konsep-konsep level

pemrosesan terkenal licin bekerja dengan cara mereka lakukan.

60 80 10 30

 Kesamaan  Kerepresentatifan

60 52 57 55

- Aturan-aturan dan kerepresentatifan 49

Data

Model (r = 0.64)

52


Kenapa Bayes ?  Kerangka untuk menjelaskan kognitif.  Bagaimana orang belajar banyak dari data terbatas demikian.  Kenapa model-model level proses bekerja dengan cara mereka lakukan.  Model kuantitatif kuat dengan minimal asumsi ad hoc.

 Jaringan syaraf  Hipotesis peringkat dan eliminasi  Kesamaan tipe /jenis  Rata-rata kesamaan


 Maks kesamaan  Fleksibel kesamaan ?

terstruktur dan kesimpulan statistik berinteraksi.

Bayes.

 Bagaimana pengetahuan terstruktur menuntun kesimpulan statistik,

dan dirinya diperoleh melalui pembelajaran statistik order lebih tinggi.  Bagaimana kesederhanaan bertukar dengan kecocokan data dalam

mengevaluasi struktural-struktural hipotesis (Occam’s razor).  Bagaimana kompleksitas struktur meningkat dapat tumbuh

sebanding dibutuhkan data baru, dari pada didefinisikan lebih awal/ sebelum. 50

53

Model-model teori berdasarkan Bayesian

Model-model alternatif  Jaringan syaraf

 Kesimpulan statistik rasional (Bayes):

 Hipotesis peringkat dan eliminasi  Kesamaan tipe / jenis

p( h | d ) 

 Peralatan heuristik sederhana

p( d | h) p( h)  p(d | h) p(h) hH

 60: kesamaan “umum”  60 80 10 30: paling umum aturan spesifik (“subset prinsip”).

 Teori domain pembelajaran menghasilkan ruang hipotesis

 60 52 57 55: kesamaan dalam besaran

mereka H dan p(h) sebelumnya.  Kecocokan baik terhadap struktur dalam dunia nyata/alamiah.  Dapat dipelajari dari data terbatas.

Kenapa heuristik ini? Kapan gunakan heuristik yang mana? Bayes. 51

 Kesimpulan yang mudah dikerjakan secara komputasional. 54

Pembelajaran Kasus Lanjutan 1: Kausalitas

BAB 4 PEMBELAJARAN KASUS LANJUTAN 1: KAUSALITAS

29

30


Bekerja pada level komputasional statistik

 Apa problem komputasional ?  masukan: data  keluaran: solusi

Pembelajaran Kasus Lanjutan 1

1

4

Bekerja pada level komputasional statistik

 Apa Problem komputasional ?

Pengantar Kausalitas

 masukan : data  keluaran: solusi

 Apakah pengetahuan ini tersedia bagi pembelajar ?  Dari mana pengetahuan ini berasal ?

5

2

Model-Model Teori Berdasarkan Bayesian

Analisis 3 Level  Komputasi:


“Apa tujuan komputasi, kenapa itu sesuai, dan apa logika strategi dengan mana itu dapat dikerjakan?”

p( h | d ) 

 Representasi dan algoritma :

p( d | h) p( h)  p(d | h) p(h) hH

Psikologi kognitif  Implementasi:

 Teori domain pembelajar menghasilkan ruang hipotesis H

Neurobiologi

mereka dan p(h) sebelum.  Cocok baik terhadap struktur dunia nyata.  Mampu belajar dari data terbatas.  Kesimpulan mudah dengan komputasional.

3

6


31

Jaringan Bayes dan diluar ...  Apa jaringan Bayes ?

Kausalitas

 model –model grafik  model-model grafik kausal

 Contoh : induksi kausal elemental  Diluar jaringan Bayes …  pengetahuan lain dalam induksi kausal  Formalisasi teori-teori kausal

7

10

Jaringan Bayes dan diluar ...

Model-model grafik  Ekspresi struktur ketergantungan probabilistik di

 Dengan meningkatnya populer pendekatan untuk

antara sebuah himpunan variabel (Pearl, 1988)

mempelajari kesimpulan kausal manusia

 Terdiri dari

(misal, Glymour, 2001; Gopnik, 2004)

 sebuah himpunan simpul, sesuai dengan variabel-variabel

 3 reaksi :

 sebuah himpunan tepi-tepi, menunjukkan

ketergantungan

 Jaringan Bayes adalah solusi !

 sebuah himpunan fungsi grafik terdefinisi yang

 Jaringan Bayes adalah hal hilang, tidak yakin kenapa …

mendefinisikan sebuah distribusi probabilitas

 Apa jaringan Bayes ?

8

11


Model-model grafik tidak langsung

 Apa jaringan Bayes ?  model –model grafik

X3

X1

 model-model grafik kausal

 Contoh : induksi kausal elemental

X2

 Diluar jaringan Bayes …

X4

X5

 Terdiri dari

 pengetahuan lain dalam induksi kausal

 sebuah himpunan simpul

 Formalisasi teori-teori kausal

 sebuah himpunan tepi-tepi  sebuah potensial untuk tiap kumpulan, dikalikan bersama untuk

menghasilkan distribusi atas variabel-variabel  Contoh  statistik fisik : model Ising, spinglasses  jaringan syaraf tahap awal (misal, mesin Boltzmann) 9

12

32


Model-model grafik langsung

Representasi efisien dan kesimpulan

X3

X1 X2

 3 variabel biner : Cavity, Toothache, Catch

X4

X5

 Terdiri dari  sebuah himpunan simpul  sebuah himpunan tepi  distribusi probabilitas kondisional untuk tiap simpul, kondisikan

pada induknya, dikalikan bersama untuk menghasilkan distribusi atas variabel-variabel  Dibatasi untuk “directed acyclic graphs” (DAG)  AKA: jaringan Bayesian, jaringan Bayes 13

16

Jaringan Bayesian dan Bayes

Representasi efisien dan kesimpulan  3 variabel biner : Cavity, Toothache, Catch

 2 problem beda  Statistik Bayesian adalah sebuah metode kesimpulan

 Spesifikasi P(Cavity, Toothache, Catch) butuh 7

 Jaringan Bayesian adalah sebuah bentuk representasi

parameter (1 untuk tiap himpunan nilai, minus 1 karena distribusi probabilitasnya)

 Tidak ada koneksi perlu  Banyak pemakai jaringan Bayesian bersandar pada ahli

metode statistik (contoh. Glymour)

 Dengan n variabel, kita perlu 2n -1 parameter

 Banyak kesimpulan Bayesian tidak dapat dengan mudah di

 Disini n=3. Secara realistik, lebih banyak : X-ray,

representasikan menggunakan jaringan Bayesian

14

diet, oral hygiene, personality, . . . . 17

Independensi kondisional

Sifat-sifat jaringan Bayesian

 Semua 3variabel adalah tergantung, tetapi Toothache

dan Catch adalah tak tergantung diberikan pada sekarang atau tidak ada Cavity  Pada suku probabilistik:

 Representasi efisien dan kesimpulan  mengeksplorasi ketergantungan struktur membuatnya

mudah untuk merepresentasi dan menghitung dengan probabilitas

P(ache  catch | cav)  P (ache | cav) P (catch | cav ) P(ache  catch | cav)  P (ache | cav) P (catch | cav)

 Penjelasan jauh

 1  P(ache | cav)P(catch | cav )

 pola karakteristik pemikiran probabilistik pada jaringan

 Dengan n variabel kejadian, x1, …, xn, kita perlu 2 n

Bayesian, terutama awal pemakaian pada AI

15

probabilitas kondisional : 18

P( xi | cav), P ( xi | cav)


33

Sistem lebih kompleks

Jaringan Bayesian sederhana

Battery

 Representasi grafik relasi antara sebuah himpunan

Radio

variabel acak :

Ignition Starts

Cavity Toothache

Gas

On time to work

Catch

 Distribusi bersama memadai untuk tiap kesimpulan :

 Interpretasi probabilistik : faktorkan suku kompleks

P( A, B, C ) 



P( B , R, I , G, S , O)  P ( B ) P( R | B ) P( I | B ) P(G ) P (S | I , G ) P(O | S )

P (V | parents[V ])

 Algoritma kesimpulan umum : pesan lokal melewati

V { A, B,C }

(perambatan kepercayaan; Pearl, 1988)  Efisiensi tergantung pada kekurangan struktur grafik

P( Ache, Catch, Cav )  P ( Ache, Catch | Cav ) P (Cav )  P( Ache | Cav) P (Catch | Cav ) P (Cav )

19

22


Penjelasan jauh

Battery Radio

Ignition

Rain

Gas

Sprinkler Grass Wet

Starts

P( R, S , W )  P ( R )P ( S ) P (W | S , R )

On time to work  Distribusi bersama memadai untuk tiap kesimpulan :

 Anggap grass/rumput akan wet/basah jika dan hanya

jika rained/hujan tadi malam, atau jika sprinkler/siraman tertinggal :

P( B , R, I , G, S , O)  P( B ) P ( R | B ) P ( I | B) P (G ) P( S | I , G ) P(O | S )

 P( B) P( R | B) P( I | B) P(G) P(S | I , G ) P(O | S ) P(O, G) B , R , I , S P(O | G )   P (G) P (G) 20

P(W  w | S , R )  1 jika S  s atau R  r

 0 jika R   r dan S  s. 23


Penjelasan jauh

Battery Radio

Ignition

Rain

Gas

Sprinkler Grass Wet

Starts

P( R, S , W )  P ( R )P ( S ) P (W | S , R )

On time to work


 Distribusi bersama memadai untuk tiap kesimpulan :

 0 jika R   r dan S  s. P( B , R, I , G, S , O)  P( B ) P ( R | B ) P ( I | B) P (G ) P( S | I , G ) P(O | S )

Hitung probabilitas hujan tadi malam, diberikan bahwa rumput basah

  P (O, G) P(O | G )      P( B ) P ( I | B ) P (S | I , G)  P(O | S )   P (G ) S  B,I  21

24

P(r | w) 

P ( w | r ) P( r ) P( w)

34


Penjelasan jauh

Penjelasan jauh Rain

Rain

Sprinkler

Grass Wet

Grass Wet P( R, S , W )  P ( R )P ( S ) P (W | S , R )

P( R, S , W )  P ( R )P ( S ) P (W | S , R )


P(W  w | S , R )  1 jika S  s atau R  r  0 jika R   r dan S  s.

 0 jika R   r dan S  s.


P( r | w ) 


P ( w | r ) P( r )  P(w | r, s) P(r , s) r , s 

25

P( r | w ) 

P( r ) P ( r )  P ( r ) P ( s )

Antara 1 dan P(s)

28


Penjelasan jauh Sprinkler

Rain

Grass Wet

P( R, S , W )  P ( R )P ( S ) P (W | S , R )



P( r | w ) 

Sprinkler Grass Wet

P( R, S , W )  P ( R )P ( S ) P (W | S , R )

P(W  w | S , R )  1 jika S  s atau R  r  0 jika R   r dan S  s. Hitung probabilitas hujan tadi malam, P( w | r , s ) P ( r | s ) diberikan bahwa rumput P(r | w, s )  P( w | s ) basah dan siraman Kedua suku = 1 tertinggal

P( r ) P (r , s )  P (r , s )  P (r , s )

26

29


Penjelasan jauh Sprinkler

Rain

Grass Wet

P( R , S , W )  P( R ) P (S ) P(W | S , R )



P(r | w) 

Sprinkler Grass Wet

P( R, S , W )  P ( R )P ( S ) P (W | S , R )

27

Sprinkler

P(W  w | S , R )  1 jika S  s atau R  r  0 jika R   r dan S  s. Hitung probabilitas hujan tadi malam, diberikan bahwa rumput P(r | w, s)  P (r | s )  P(r ) basah dan siraman tertinggal

P( r ) P ( r )  P ( r , s )

30

 P(r )


35

Penjelasan jauh

Kontras dengan menyebar aktiva

Rain

Sprinkler

Rain

Grass Wet

Grass Wet  Kaitan rangsang: Rain

P( R, S , W )  P ( R )P ( S ) P (W | S , R )

 Kaiatan hambat: Rain


P( r ) P ( r )  P ( r ) P ( s ) P(r | w, s)  P (r | s )  P (r )

 P (r )

“mendiskontokan” Probabilitas sebelum.

31

Wet

34

Kontras dengan sistem produksi Rain

Kontras dengan menyebar aktiva Rain

Sprinkler

Grass Wet

• Formula aturan IF-THEN (jika-maka) : – IF Rain THEN Wet – IF Wet THEN Rain

• Tiap variabel baru memerlukan lebih banyak koneksi hambat. • Interaksi antara variabel adalah tidak kausal. • Tidak modular.

IF Wet AND NOT Sprinkler THEN Rain

• Aturan tidak membedakan arah kesimpulan • Memerlukan letupan kombinatorial aturan-aturan 32

35

Kontras dengan menyebar aktiva Rain

Burst pipe Sprinkler

Grass Wet

– Apakah sebuah koneksi terdapat tergantung pada apa yang koneksi lain ada, pada cara tidak-transparansi. – Problem besar holisme. – Letupan kombinatorial .

Model-model grafik

Sprinkler  Menangkap ketergantungan struktur dalam distribusi

Grass Wet

 Memberi sebuah alat efisien representasi dan pemikiran

dengan probabilitas

 Kaitan rangsang : Rain

Wet, Sprinkler Wet • Amati rain, Wet menjadi lebih aktif. • Amati grass wet/rumput basah, Rain/hujan dan Sprinkler/siraman menjadi lebih aktif. • Amati grass wet dan sprinkler, Rain tidak dapat menjadi kurang aktif. Tidak menjelaskan jauh ! 33

Wet, Sprinkler Sprinkler

• Amati grass wet/rumput basah, Rain dan Sprinkler menjadi lebih aktif • Amati grass wet dan sprinkler, Rain menjadi kurang aktif : menjelaskan jauh.

 0 jika R   r dan S  s.

P( r | w ) 

Sprinkler

 Memungkinan jenis-jenis kesimpulan yang adalah

problematik untuk representasi lain: menjelaskan jauh.  sulit menangkap sebuah sistem produksi  sulit menangkap dengan penyebaran aktivasi

36

36


Pengamatan dan intervensi


Battery

 Apa jaringan Bayes ?

Radio

 model –model grafik

Ignition


Gas Starts


On time to work

 Diluar jaringan Bayes …  pengetahuan lain dalam induksi kausal  Formalisasi teori-teori kausal

Model grafik :

P(Radio|Ignition)

Model grafik kausal :

P(Radio|do(Ignition))

“grafik pembedahan” menghasilkan “grafik kompong” 40

37

Model-model grafik kausal

Menilai intervensi

 Model-model grafik merepresentasikan ketergantungan

 Menghitung P(Y|do(X=x)), hapus semua tepi-tepi datang

statistik di antara variabel-variabel (yaitu korelasi)

ke X dan alasan dengan hasil jaringan Bayesian (“do calculus”; Pearl, 2000)

 dapat menjawab pertanyaan mengenai pengamatan

 Model-model grafik kausal merepresentasikan

ketergantungan kausal di antara variabe-variabel

 Memungkinkan sebuah struktur tunggal untuk membuat

 mengekspresikan pentingnya struktur kausal

prediksi mengenai pengamatan dan intervensi

 dapat menjawab pertanyaan mengenai baik pengamatan dan

intervensi (aksi-aksi atas sebuah variabel)

38

41

Kausalitas menyederhanakan kesimpulan

Pengamatan dan intervensi Battery Radio

Ignition

 Menggunakan representasi pada mana arah kausalitas dengan benar

Gas

menghasilkan grafik jarang /tersebar disana sini  Mestinya kita mendapat arah kausalitas salah, berpikir bahwa

Starts

“gejala” menyebabkan “penyakit”:

On time to work

 Tidak menangkap korelasi antara gejala-gejala : percaya palsu

P(Ache, Catch) = P(Ache) P(Catch).

Model grafik :

P(Radio|Ignition)

Model grafik kausal :

P(Radio|do(Ignition))

Ache

Catch Cavity

39

42


37


Struktur kausal vs. kekuatan kausal

 Menggunakan representasi pada mana arah kausalitas

dengan benar menghasilkan grafik jarang /tersebar disana sini  Mestinya kita mendapat arah kausalitas salah, berpikir bahwa “gejala” menyebabkan “penyakit”: Ache

C

B

E

E

Catch

Cavity  Menyisip sebuah panah baru yang memungkinkan

C

B

 Kekuatan : seberapa kuat sebuah hubungan ?

kita menangkap korelasi ini.  Model ini terlalu kompleks: tidak percaya bahwa 43

P( Ache, Catch | Cav )  P ( Ache | Cav) P (Catch | Cav)

46



 Menggunakan representasi pada mana arah kausalitas

dengan benar menghasilkan grafik jarang /tersebar disana sini  Mestinya kita mendapat arah kausalitas salah, berpikir bahwa “gejala” menyebabkan “penyakit”: Ache

C

B

w1

w0

B w0

X-ray

C

E

E

Catch Cavity

 kekuatan: seberapa kuat sebuah hubungan ?  menuntut definisi alamiah hubungan

 Gejala-gejala baru memerlukan sebuah proliferasi 44

/penyebaran kombinatorial panah baru. Ini mereduksi efisiensi kesimpulan.

Pembelajaran model-model grafik kausal C

B

E

47

Parameterisasi  Struktur:

E

C

h0 =

 Parameterisasi:

C B

 Struktur: apakah sebuah hubungan terdapat?

48

0 1 0 1

0 0 1 1

C

B

E

E

C

B

 Kekuatan: seberapa kuat sebuah hubungan?

45

h1 = B

Generik

h1: P(E = 1 | C, B) p00 p10 p01 p11

h0: P(E = 1| C, B) p0 p0 p1 p1

38


Parameterisasi h1 =

 Struktur :

C

B w0

h0 =


C

B w0

w1

E

E

C

B

C

B

w0, w1: kekuatan parameter untuk B, C  Parameterisasi:

C B

49

0 1 0 1

h1: P(E = 1 | C, B)

0 0 1 1

h0: P(E = 1| C, B)

0 w1 w0 w1+ w0

 Struktur: apakah sebuah hubungan terdapat ?

0 0 w0 w0

52

Parameterisasi h1 =

 Struktur :

E

E

Linear

Pendekatan ke struktur pembelajaran B

C

w0

w1

h0 =

C

B

 Dasar-pembatasan

w0

 deduksi struktur dari ketergantungan

E

E

C

B

 tergantungan dari uji statistik (contoh, 2)

E

w0, w1: kekuatan parameters untuk B, C  Parameterisasi:

C B

50

0 1 0 1

0 0 1 1

(Pearl, 2000; Spirtes., 1993)

“Noisy-OR”

h1: P(E = 1 | C, B)

h0: P(E = 1| C, B)

0 w1 w0 w1+ w0 – w1 w0

0 0 w0 w0

53

Pendekatan ke struktur pembelajaran

Pengestimasian parameter  Pengestimasian kemungkinan maksimum :

 Dasar-pembatasan :

C

B

 ketergantungan dari uji statistik (contoh, 2)  deduksi struktur dari ketergantungan

maximize  i P(bi,ci,ei; w0, w1)

E (Pearl, 2000; Spirtes., 1993)

 Metode Bayesian : seperti pada “membandingkan

hipotesis banyak tak terbatas” contoh …..…

51

54


39

Pendekatan ke struktur pembelajaran  Dasar pembatasan :

Model-model grafik kausal  Model-model perluasan grafik untuk menangani

C

B

intervensi maupun pengamatan

 ketergantungan dari uji statistik (contoh, 2)

 Berkenaan dengan hasil arah kausalitas dalam


E

representasi efisien dan kesimpulan  2 langkah pada model-model pembalajaran kausal


 pengestimasian parameter  struktur pembelajaran

58

55

Pendekatan ke struktur pembelajaran  Dasar-pembatasan :

Jaringan Bayes dan diluar ...  Apa jaringan Bayes ?

C

B

 ketergantungan dari uji statistik (contoh, 2)

 model –model grafik  model-model grafik kausal


E

 Contoh : induksi kausal elemental  Diluar jaringan Bayes …


 pengetahuan lain dalam induksi kausal  Formalisasi teori-teori kausal

Berusaha untuk reduksi problem induktif ke problem deduktif

56

59

Pendekatan ke struktur pembelajaran  Dasar – pembatasan :

Elemen induksi kausal

C

B

 ketergantungan dari uji statistik(eg. 2)

C ada

C tidak ada

E ada

a

c

E tidak ada

b

d


E (Pearl, 2000; Spirtes., 1993)

• Bayesian: – Hitung probabilitas struktur sesudah, diberi data teramati 57

P(S|data)  P(data|S) P(S)

C

B

C

B

E

E

P(S1|data)

P(S0|data)

(Heckerman, 1998; Friedman, 1999)

“Kepada perluasan apa C menyebabkan E?” 60

40


Buehner dan Cheng (1997)


C

B

w1

w0

B w0

C

E

E  Kekuatan : seberapa kuat hubungan ?  Struktur: apaka hubungan terdapat ?

64

61

Kekuatan kausal  Asumsi struktur :

Pentingnya parameterisasi B

C

w0

w1

 mekanisme asumsi gabungan Noisy-OR :  generativitas: sebab-sebab meningkatkan probabilitas efek  tiap sebab adalah memadai menghasilkan efek  sebab-sebab bertindak melalui mekanismse independen

E

(Cheng, 1997)  Model-model penting (DP dan daya kausal) adalah

 Meninjau model-mode lain:

estimasi kemungkinan maksimum pada kekuatan parameter w1, dalam parameterisasi beda untuk P(E|B,C):

 ketergantungan statistik : uji 2  parameterisasi generik (Anderson, computer science)

 linear  DP, Noisy-OR  daya kausal 62

65

catatan : noise-or = derau - atau

Struktur kausal  Hipotesis:

h1 = B

C

h0 =

E

B

C

E

 Kesimpulan kausal Bayesian : 2

support = 1 1

P(data | h1)  



0 0

P(data | w0 , w1) p( w0 , w1 | h1) dw0 dw1

1

P (data | h0 )   P(data | w0 ) p ( w0 | h0 ) dw0 0

63

66


41

Generativitas adalah esensi P(e+|c+) P(e+|c-)

8/8 8/8

6/8 6/8

4/8 4/8

100 50 0

kimia gen

X

2/8 2/8

0/8 0/8

Clofibrate

Wyeth 14,643

Gemfibrozil

Phenobarbital

Support

 Hasil prediksi dari “ceiling effect”  ceiling effects hanya satu-satunya jika kamu percaya sebuah

Carnitine Palmitoyl Transferase 1

p450 2B1

sebab meningkatkan probabilitas sebuah efek

Hamadeh . (2002) Toxicological sciences.

70

67


Kimia X

kimia gen

 Apa jaringan Bayes ?  model –model grafik

peroxisome proliferators


Clofibrate


Wyeth 14,643

Gemfibrozil

Phenobarbital

 Diluar jaringan Bayes …  pengetahuan lain dalam induksi kausal

+

 formalisasi teori-teori kausal

+

+

Carnitine Palmitoyl Transferase 1

p450 2B1 68

71

kimia gen

Hamadeh et al. (2002) Toxicological sciences.

Menggunakan model-model grafik kausal  3 pertanyaan (biasanya diselesaikan oleh periset)

Clofibrate

Wyeth 14,643

Gemfibrozil

 variabel-variabel apa?

Phenobarbital

 struktur apa yang masuk akal ?  bagaimana variabel-variabel berinteraksi ?

 Bagaimana pertanyaan ini dijawab jika model-model

grafik kausal digunakan dalam kognitif ? p450 2B1 69

Carnitine Palmitoyl Transferase 1 Hamadeh . (2002) Toxicological sciences.

72

42


“Penghalangan /Blocking”

Jaringan Bayes dan diluar ...  Apa jaringan Bayes ?  model –model grafik  model-model grafik kausal

A


B

Trial 1

Trials 3, 4

Trial 2

 2 obyek : A dan B

 Diluar jaringan Bayes …  pengetahuan lain dalam induksi kausal

 Coba 1: A pada detektor – detektor aktif

 formalisasi teori-teori kausal

 Coba 2: B pada detektor – detektor tak aktif  Coba 3,4: A B pada detektor – detektor aktif  3, 4-tahun umur (anak) menilai apakah tiap obyek adalah

sebuah blicket  A: sebuah blicket  B: bukan sebuah blicket 73

76

Kesimpulan deduktif ?

Teori-dasar induksi kausal

 Hukum kausal : detektor mengaktifkan jika dan hanya

jika satu atau lebih obyek pada atasnya adalah blicket.

Toeri kausal

P(h|data)  P(data|h) P(h)

– Ontologi – Relasi masuk akal – Bentuk fungsional

 Coba 1: A pada detektor – detektor aktif

Evaluasi dengan kesimpulan statistik P(h1) = r

h1:

 Premis:

X B

Y

 Coba 2: B pada detektor – detektor tak aktif  Coba 3,4: A B pada detektor – detektor aktif

P(h0) =1 – r h0:

X B

 Kesimpulan dideduksi dari premis-premis dan hukum

Y

kausal :  A: sebuah blicket

menghasilkan 74

Z

 B: bukan sebuah blicket

Z

Ruang hipotesis model-model grafik causal

77

“Penghalangan arah balik” Detektor Blicket

(Sobel, Tenenbaum & Gopnik, 2004)

(Gopnik, Sobel, dan kolega)

A Lihat ini ? Ini sebuah Letakkan ini pada mesin blicket . mesin. Blicket membuatnya jalan.

B

Trial 1

Trial 2

 2 obyek: A dan B

Oooh, ini sebuah blicket!

 Coba 1: A B pada detektor – detektor aktif  Coba 2: A pada detektor – detektor aktif  4-tahun umur menilai apakah tiap obyek adalah sebuah

blicket  A: sebuah blicket (100% penilaian)  B: mungkin bukan sebuah blicket (66% penilaian) 75

78


43

Teori

Teori

 Ontologi  Tipe-tipe: Block/halang, Detector/ detektor, Trial/coba  Prediksi : cause =sebab Contact(Block, Detector, Trial) Active(Detector, Trial)

 Pembatasan pada relasi-relasi kausal  Untuk tiap Block b dan Detector d, dengan probabilitas sebelum q : Cause(Contact(b,d,t), Active(d,t))

contact=kontak active =aktif

 Pembatasan pada relasi-relasi kausal  Untuk tiap Block b dan Detector d, dengan probabilitas sebelum q : Cause(Contact(b,d,t), Active(d,t))  Bentuk fungsional relasi-relasi kausal  Sebab-sebab pada Active(d,t) adalah mekanisme independen, dengan kekuatan kausal wi. Latar belakang sebab mempunyai kekuatan w0. Asumsikan sebuah mekanisme dekat-deterministik : wi ~ 1, w0 ~ 0. 79

P(h00) = (1 – q)2

A

A

h00 :

tidak ada hipotesis dengan E B, E A, A B, dst-nya.

P(h10) = q(1 – q)

B

h10 :

E

E

P(h11) = q2

P(h01) = (1 – q) q = “A adalah blicket”

B

A

h01 :

E

B

A

h11 :

E

E

82

Teori

Teori

 Bentuk fungsional relasi-relasi kausal  Sebab-sebab padaActive(d,t) adalah mekanisme independen, dengan kekuatan kausal wb. Latar belakang sebab mempunyai kekuatan w0. Asumsikan sebuah mekanisme dekat-deterministik : wb ~ 1, w0 ~ 0.

 Ontologi  Types: Block, Detector, Trial  Prediksi : Contact(Block, Detector, Trial) Active(Detector, Trial)

B

A

P(h00) = (1 – q)2

E

A

P(E=1 | A=0, B=0): P(E=1 | A=1, B=0): P(E=1 | A=0, B=1): P(E=1 | A=1, B=1): 83

80

Teori

Contact(Block, Detector, Trial) Active(Detector, Trial)

B

P(h01) = (1 – q) q A

B

P(h10) = q(1 – q) A

B

P(h11) = q2 A

B

E

E

E

E

0 0 0 0

0 0 1 1

0 1 0 1

0 1 1 1

“Hukum aktivasi”: E=1 jika dan hanya jika A=1 atau B=1.

Kesimpulan Bayesian

 Ontologi  Tipe-tipe : Block, Detector, Trial  Prediksi :

 Mengevaluasi model-model kausal dalam data ringan:

A

B

P(d | hi ) P (hi )  P( d | h j ) P( h j )

P( hi | d ) 

h H j

E

 Menyimpulkan sebuah relasi kausal khusus :

A = 1 jika Contact(block A, detector, trial), lain 0 B = 1 jika Contact(block B, detector, trial), lain 0 E = 1 jika Active(detector, trial), lain 0

81

B

A

P( A  E | d ) 

 P( A  E | h j ) P( h j | d ) h H j

84

44


Memodelkan penghalangan arah balik P(h00) = (1 – q)2 A

P(E=1 | A=0, B=0): P(E=1 | A=1, B=0): P(E=1 | A=0, B=1): P(E=1 | A=1, B=1):

B

P(h01) = (1 – q) q A

B

P(h10) = q(1 – q) A

Memanipulasi sebelum I. Fase pelatihan awal : Blicket adalah jarang . . . .

P(h11) = q2

B

A

B

E

E

E

E

0 0 0 0

0 0 1 1

0 1 0 1

0 1 1 1

II. Fase penghalangan arah balik :

P ( B  E | d ) P ( h01 )  P ( h11 ) q   P( B E | d ) P( h00 )  P ( h10 ) 1  q

85

88

Memodelkan penghalangan arah balik P(h00) = (1 – q)2 A

P(E=1 | A=1, B=1):

B

P(h01) = (1 – q) q A

B

P(h10) = q(1 – q) A

 Kondisi “langka”: Pertama amati 12 obyek pada

detektor, dimana 2 menonaktifkannya.

P(h11) = q2

B

A

B

E

E

E

E

0

1

1

1

P ( B  E | d ) P (h01 )  P (h11 ) 1   P( B E | d) P (h10 ) 1 q

86

89

Memodelkan penghalangan arah balik P(h01) = (1 – q) q A

B

P(h10) = q(1 – q) A

B

Batas dasar

setelah AB coba

setelah A coba

 Kondisi “umum” : Pertama mengamati 12 obyek pada

detektor, dimana 10 menonaktifkannya.

P(h11) = q2 A

B

E

E

E

P(E=1 | A=1, B=0):

0

1

1

P(E=1 | A=1, B=1):

1

1

1

87

Trial 2 A B Trial 1 Setelah tiap coba, orang dewasa menilai probabilitas bahwa tiap obyek adalah sebuah blicket.

P ( B  E | d ) P (h11 ) q   P( B E | d ) P (h10 ) 1  q

90

Batas dasar

setelah AB coba

setelah A coba


45

Peran mekanisme pengetahuan kausal

Kesimpulan dari data menyangsikan I. Fase pelatihan awal : Blicket adalah jarang . . . .

 Apa mekanisme pengetahuan perlu ?  Pembelajaran berdasarkan pembatasan menggunakan uji 2

pada independensi kondisional .

II. 2 coba: A B

detektor, B C

detektor

 Seberapa penting bentuk fungsional deterministik relasi

kausal ?  Bayes dengan teori “sebab-sebab cukup derau /noisy”

(misal, teori daya kausal dari Cheng). A

91

B

C

Trial 2

Trial 1

Setelah tiap kali coba, orang dewasa menilai probabilitas bahwa tiap obyek adalah sebuah blicket.

Teori domain sama membangkitkan ruang hipotesis untuk 3 obyek : A

 Hipotesis :

h000 =

B

C

E A

h010 =

B

C

E A

B

C

h110 =

A

B

h100 =

E

A

B

h001 =

E

A

B

h101 =

A

B

C

C

E C

h111 A=

E

B

Bayes dengan teori “sebab-sebab cukup derau” :

C

E

 kemungkinan: P(E=1| A, B, C; h) = 1 jika A = 1 dan A

atau B = 1 dan B atau C = 1 dan C lain 0.

92

Bayes dengan teori sesuai:

C

h011 = E

94

E ada, E ada, E ada,

95

 Kondisi “langka” : pertama amati 12 obyek pada

Teori-berdasarkan induksi kausal

detektor, dimana 2 dinonaktifkan.

 Menjelaskan satu kali kesimpulan kausal mengenai

sistem fisik: detektor-detektor blicket  Menangkap spektrum kesimpulan :  data tidak mendua arti: orang dewasa dan anak-anak

membuat semua atau sama sekali tidak ada kesimpulan  data mendua arti/ragu: orang dewasa dan anak-anak

membuat lebih banyak tingkatan kesimpulan  Memperluas ke kasus-kasus lebih kompleks dengan

variabel-variabel tersembunyi, sistem dinamik :datang ke jalan saya! 93

96

46


Ringkasan  Model garfik kausal memberikan sebuah bahasa untuk

mempertanyakan mengenai kausalitas  Isu-isu kunci pada pemodelan induksi kausal :  apa yang kita maksud dengan induksi kausal ?  bagaimana pengetahuan dan statistik berinteraksi?

 Pendekatan Bayesian memungkinkan eksplorasi

jawaban-jawaban beda untuk pertanyaan- pertanyaan ini

97

Pembelajaran Kasus Lanjutan 2: Ciri/ Sifat

BAB 5 PEMBELAJARAN KASUS LANJUTAN 2: CIRI/ SIFAT

47

48


Pertanyaan besar  Bagaimana kita dapat generalisasi konsep baru handal

dari satu atau beberapa contoh ?  Mempelajari makna kata

Pembelajaran Kasus Lanjutan 2

“horse”

“horse”

“horse”

3

1

Pertanyaan besar  Bagaimana kita dapat generalisasi konsep baru handal

Ciri / Sifat

dari hanya satu atau beberapa contoh ?  Mempelajari makna kata, relasi-relasi kausal, aturan

sosial, ….  Sifat induksi

Gorillas punyai T4 sel. Squirrels punyai T4 sel.

Gorillas punya T4 sel. Chimps punya T4 sel.

Semua mamalia punya T4 sel.

Semua mamalia punya T4 sel.

Contoh lebih tersebar 2

Apakah kesimpulan rasional adalah jawaban?

Pertanyaan besar

 Setiap hari induksi sering muncul mengikuti prinsip

 Bagaimana kita dapat generalisasi konsep baru handal

kesimpulan ilmu pengetahuan rasional.

dari hanya satu atau beberapa contoh ?

 Dapatkah itu menjelaskan keberhasilannya ?

 Mempelajari makna kata, relasi-relasi kausal, aturan

sosial, ….

 Tujuan pembahasan ini: sebuah model komputasi rasional

 Sifat induksi

pada generalisasi induktif manusia.

Gorillas punyai T4 sel. Squirrels punyai T4 sel.

 Menjelaskan pendekatan penilaian terhadap kesimpulan

optimal pada lingkungan alamiah/nyata.

Semua mamalia punyai T4 sel.

 Dekat sesuai kuantitatif terhadap penilaian orang dengan

sebuah minimum yang bebas parameter atau asumsi.

Seberapa mungkin kesimpulan (target) diberikan premis premis (contoh-contoh)? 4

generalisasi lebih kuat

5

6


49

Sebuah percobaan

Teori- dasar model Bayesian

(Osherson, dkk, 1990)


p( h | d ) 

 20 subyek merangking 45 argumen:

p( d | h) p( h)  p(d | h) p(h)

X1 punya sifat P. X2 punya sifat P. X3 punya sifat P.

hH

semua mamalia punya sifat P.

 Teori domain pembelajar menghasilkan ruang hipotesis  40 subyek beda merangking kesamaan semua

H mereka dan p(h) sebelum.

pasangan 10 mamalia.

 Sangat cocok terhadap struktur dunia nyata/alamiah.  Dapat dipelajari dari data terbatas.  Kesimpulan mudah dengan komputasional. 7

10

Model-model dasar kesamaan (Osherson,

Rencana pembahasan

dkk.)

 Model-model berdasarkan kesamaan  Teori-berdasarkan model

strength(“semua mamalia” | X ) 

 Model-model Bayesian

 sim(i, X )

imamalia

 “Empiricist” Bayes  Teori-berdasarkan Bayes, dengan teori-teori beda

 Model-model koneksionis (PDP)

x

x

 Teori lanjutan berdasarkan Bayes  Pembelajaran dengan teori domain banyak

x

 Pembelajaran teori-teori domian

Mamalia: Contoh :

11

8

x


Rencana pembahasan

dkk.)



 Model-model Bayesian  “Empiricist” Bayes  Teori-berdasarkan Bayes, dengan teori-teori beda


x

x

 Teori lanjutan berdasarkan Bayes  Pembelajaran dengan teori domain banyak

x


9

 sim(i, X )

imamalia

12

Mamalia: Contoh :

x

50




dkk.)

dkk.)


 sim(i, X )


imamalia

 sim(i, X )

imamalia

 Max-Kesamaan: x

x

sim(i, X )  max sim(i, j )

x

x

Mamalia: Contoh :

13

x

x

j X

Mamalia: Contoh :

x 16

x



dkk.)

dkk.)


 sim(i, X )


imamalia

 sim(i, X )

imamalia

 Max-Kesamaan : x

x


x

Mamalia: Contoh :

x

Mamalia: Contoh :

x

14

17

x



dkk.)

dkk.)


 sim(i, X )


imamalia

sim(i, X ) 

 sim(i, j )

 sim(i, X )

imamalia

 Max-Kesamaan :

 Jumlah-Kesamaan : x

x

sim(i, X )  max sim(i, j ) j X

jX

x

x x

x

Mamalia : Contoh : x 15

x

x

j X

18

Mamalia: Contoh :

x


51


Data vs. model-model

dkk.) strength(“semua mamalia” | X ) 

 sim(i, X )

imamalia

D

 Max-Kesamaan :


x

x

j X

x

Model

.

Mamalia: Contoh :

19

Tiap “ ” merepresentasi satu argumen:

x

22

X1 punya sifat P. X2 punya sifat P. X3 punya sifat P.

Semua mamalia punya sifat P.

3 himpunan data

Model-model dasar kesamaan (Osherson, dkk.)


 sim(i, X )

Max-sim

imamalia

 Max-Kesamaan :


Sum-sim

x

x

j X

x

Kesimpulan jenis:

Mamalia: Contoh :

20

x

23

Banyaknya contoh :

“horses”

“semua mamalia”

3

2

“horses”

1, 2, atau 3

Fitur /ciri peringkat data

Sum-sim vs Max-sim

(Osherson dan Wilkie)

 2 model muncul secara fungsional serupa :

 Orang diberi 48 binatang, 85 fitur/ciri, dan diminta

 Kedua meningkat secara monotonik sebanding contoh

merangking apakah tiap binatang mempunyai tiap ciri .

baru diamati.

 Alasan lebih menyukai Sum-sim:

 Contoh, elephant:

 Bentuk standar model contoh kategorisasi, memori, dan

pengenalan obyek.

 Analogi pada teknik estimasi kerapatan kernel dalam

statistik pengenalan pola.

 Alasan lebih menyukai Max-sim:

 Cocok untuk generalisasi penilaian . . . .

21

24

'gray' 'hairless' 'toughskin' 'big' 'bulbous' 'longleg' 'tail' 'chewteeth' 'tusks' 'smelly' 'walks' 'slow' 'strong' 'muscle’ 'quadrapedal' 'inactive' 'vegetation' 'grazer' 'oldworld' 'bush' 'jungle' 'ground' 'timid' 'smart' 'group'

52


?

Analisis 3 level Marr  Komputasi:

Jenis 1 Jenis 2 Jenis 3 Jenis 4 Jenis 5 Jenis 6 Jenis 7 Jenis 8 Jenis 9 Jenis 10

 Representasi dan algoritma:

Max-sim, Sum-sim

?

 Implementasi:

Sifat baru

Ciri

25

“Apa tujuan komputasi, kenapa itu sesuai, dan apa logika strategi yang dapat dikerjakan?”

? ? ? ? ? ? ?

• Hitung kesamaan berdasarkan jarak Hamming,  A  B   A  B  atau cosinus. • Generalisasi berdasarkan Max-sim atau Sum-sim.

Neurobiologi

28

3 himpunan data r = 0.77

r = 0.75

Rencana pembahasan

r = 0.94


Max-Sim

 Model-model Bayesian

r = – 0.21

r = 0.63

 “Empiricist” Bayes

r = 0.19

 Teori-berdasarkan Bayes, dengan teori-teori beda


Sum-Sim

 Teori lanjutan berdasarkan Bayes  Pembelajaran dengan teori domain banyak Kesimpulan jenis :

26

Banyaknya contoh:

 Pembelajaran teori-teori domian “semua mamalia”

3

“horses”

2

“horses”

1, 2, atau 3

Problem untuk pendekatan berdasarkan sim

29

Teori-berdasarkan induksi

 Tidak ada penjelasan dasar untuk kenapa Max-Sim

 Ilmu pengetahuan biologi: jenis dihasilkan oleh sebuah

evolusionir percabangan proses.

bekerja baik pada tugas ini, dan Sum-Sim sangat buruk, bila Sum-Sim adalah standar pada model-model dasar kesamaan lain.  Bebas parameter campur kesamaan dan suku tercakup, dan mungkin suku-suku Max-Sim dan Sum-Sim.  Tidak perluas ke induksi dengan sifat-sifat jenis lain, misal, dari Smith dkk., 1993:

 Cabang pohon - jenis taksonomi terstruktur.

Dobermanns dapat menggigit melalui kawat;. German shepherds dapat menggigit melalui kawat. Poodles dapat menggigit melalui kawat. 27

German shepherds dapat menggigit melalui kawat.

 Taksonomi juga pusat dalam masyarakat biologi (Atran). 30


53

Teori-dasar induksi Dimulai dengan merekonstruksi intuitif taksonomi dari penilaian kesamaan : “herbivora besar”

pengelompokan 34

31

Cows punya sifat P. Dolphins punya sifat P. Squirrels punya sifat P.

Cows punya sifat P. Horses punya sifat P. Rhinos punya sifat P.



Strong: 0.76 [max = 0.82])

Weak: 0.17 [min = 0.14]

Bagaimana taksonomi membatasi induksi

“semua mamalia”

 Atran (1998): “Fundamental principle of systematic

induction” (Warburton 1967, Bock 1973)  Diberikan sebuah sifat yang ditemukan diantara anggota

pada 2 spesies/jenis, hipotesis awal terbaik adalah bahwa sifat juga hadir diantara semua spesis yang terkandung dalam taxon order lebih tinggi terkecil yang mengandung pasangan sepesis asal.

32

35

Cows punyai sifat P. Dolphins punya sifat P. Squirrels punya sifat P.

Seals punya sifat P. Dolphins punya sifat P. Squirrels punya sifat P.



Strong: 0.76 [max = 0.82]

Weak: 0.30 [min = 0.14]

“semua mamalia”

Jarak taksonomi

Max-sim

Sum-sim Cows punya sifat P. Dolphins punya sifat P. Squirrels punya sifat P. Semua mamalia punya sifat P. 33

Strong (0.76 [max = 0.82])

Kesimpulan Jenis : 36

Banyaknya contoh:

“semua mamalia”

3

“horses”

2

“horses”

1, 2, atau 3

54


Pendekatan Bayesian

Tantangan  Dapatkah kita bangun model-model terbaik dari kedua

?

pendekatan tradisional?  Secara kuantitatif akurat prediksi.  Dasar rasional kuat.

Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10

 Akankah membutuhkan cara-cara novel dalam

mengintegrasi pengetahuan terstruktur dengan kesimpulan statistik.

? ? ? ? ? ? ? ?

Ciri-ciri

Generalisasi Hipotesis

40

37

Rencana pembahasan

Sifat baru

Pendekatan Bayesian


?

 Model-model Bayesian  “Empiricist” Bayes  Teori-berdasarkan Bayes, dengan teori-teori beda Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10

 Model-model koneksionis (PDP)  Teori lanjutan berdasarkan Bayes  Pembelajaran dengan teori domain banyak  Pembelajaran teori-teori domian

? ? ? ? ? ? ? ?

Ciri-ciri 38

41

Pendekatan Bayesian


Catatan : spesis= jenis

?


? ? ? ? ? ? ? ?

Ciri-ciri

Sifat baru

Pendekatan Bayesian ?

39


Sifat baru

? ? ? ? ? ? ? ?

Ciri-ciri 42


Sifat baru


55

Pendekatan Bayesian

Pendekatan Bayesian

?

p(h)

h Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10


? ? ? ? ? ? ? ?

Ciri-ciri


43

p(d |h)

Sifat baru

? ? ? ? ? ? ? ?

Ciri-ciri

Aturan Bayes: p(h | d ) 

Sifat baru


46

Pendekatan Bayesian

d

p( d | h) p( h)  p(d | h) p(h) hH

?

p(h)



? ? ? ? ? ? ? ?

Ciri-ciri


44

p(d |h)

Sifat baru

? ? ? ? ? ? ? ?

Ciri-ciri


47

Probabilitas bahwa sifat Q berlaku untuk spesies x : p (Q ( x ) | d )  

Pendekatan Bayesian

d

Sifat baru

p (h | d )

h konsisten dengan Q ( x )

?

p(h)


45


? ? ? ? ? ? ? ?

Ciri-ciri


p(d |h)

Sifat baru

? ? ? ? ? ? ? ?

Ciri-ciri 48

d


Sifat baru

56


“Prinsip ukuran”: |h | = # pada contoh positif dari h

p (d | h) 

1 h

0

Prinsip Ukuran

jika d konsisten dengan h lainnya

p(h)

h1 “bilangan genap”

p(d |h)


d ? ? ? ? ? ? ?

2 12 22 32 42 52 62 72 82 92

4 14 24 34 44 54 64 74 84 94

6 16 26 36 46 56 66 76 86 96

8 10 18 20 28 30 38 40 48 50 58 60 68 70 78 80 88 90 98 100

h2 “kelipatan 10”

?

Ciri-ciri


49

Data jauh lebih terjadi bersamaan dalam h1

Sifat baru 52

Prinsip Ukuran h1 “bilangan genap”

2 12 22 32 42 52 62 72 82 92

4 14 24 34 44 54 64 74 84 94

6 16 26 36 46 56 66 76 86 96

8 10 18 20 28 30 38 40 48 50 58 60 68 70 78 80 88 90 98 100

Ilustrasi prinsip ukuran h2

Argumen mana lebih kuat ?

“kelipatan 10” Grizzly bears punya sifat P. Semua mamalia punya sifat P.

“bukan-monotonik” Grizzly bears punya sifat P. Brown bears punya sifat P. Polar bears punya sifat P. Semua mamalia punya sifat P.

50

53

Probabilitas bahwa sifat Q berlaku untuk spesis x: p(Q( x ) | d )   p(h) / h  p(h) / h

Prinsip Ukuran h1 “bilangan genap”

2 12 22 32 42 52 62 72 82 92

4 14 24 34 44 54 64 74 84 94

6 16 26 36 46 56 66 76 86 96

8 10 18 20 28 30 38 40 48 50 58 60 68 70 78 80 88 90 98 100

h konsisten dengan Q ( x ), d

h2

p(h)

“kelipatan 10”

p(Q(x)|d) Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10

Data agak lebih terjadi bersamaan dalam h1 51

h konsisten dengan d

54

h

p(d |h)

d ? ? ? ? ? ? ?

...

?


Sifat baru


57

Probabilitas bahw sifat Q berlaku untuk spesis x: p(Q( x ) | d )   p(h) / h  p(h) / h h konsisten dengan Q ( x ), d

Hasil

h konsisten dengan d

p(h)

h

p(d |h)


d ? ? ? ? ? ? ?

r = 0.38

r = 0.16

r = 0.79

r = 0.77

r = 0.75

r = 0.94

“Empiricist” Bayes

Max-Sim

?

Ciri-ciri

Generalisasi Hipothesis

55

Sifat baru 58

Kenapa “Empiricist” Bayes tidak bekerja ?

Menspesifikasi p(h) sebelum  Sebuah “sebelum” yang baik harus fokus pada sebuah

subset kecil semua 2n hipotesis mungkin, supaya :  Dengan bukan bias struktural, memerlukan terlalu

 Cocok dengan distribusi sifat-sifat dunia.  Dapat dipelajari dari data terbatas.  Efisien secara komputasional.

banyak ciri-ciri untuk estimasi “sebelum” yang handal.  Sebuah analogi: Mengestimasi sebuah fungsi kerapatan

probabilitas halus dengan interpolasi lokal.

 Kita pertimbangkan 2 pendekatan :  “Empiricist” Bayes: berdasarkan ‘sebelum” tidak

terstruktur secara langsung pada ciri-ciri yang diketahui.  Dasar teori Bayes: sebelum terstruktur didasarkan pada

teori domain rasional, menala untuk mengetahui ciri-ciri.

56

59

“Empiricist” Bayes: (Heit, 1998)

N = 100

N = 500

h1 h2 h3 h4 h5 h6 h7 h8 h9 h10 h11 h12

Kenapa “Empiricist” Bayes tidak bekerja ?


p(h) =

 Dengan bukan bias struktural, memerlukan terlalu 1 15

1 2 15 15

1 3 15 15

1 1 15 15

1 15

1 1 15 15

1 15

banyak ciri-ciri untuk estimasi “sebelum” yang handal.

1 15

h Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10 57

N=5

 Sebuah analogi: Mengestimasi sebuah fungsi kerapatan

d

probabilitas halus dengan interpolasi lokal.

? ? ? ? ? ? ? ?

Ciri-ciri


Sifat baru

60

N=5

N=5

Mengasumsi sebuah bentuk terstruktur secara cocok untuk kerapatan (misal Gaussian) mengarah pada generalisasi lebih baik dari data jarang.

58


“Teori dasar” Bayes

Sampel-sampel dari sebelum  Melabel yang memotong data sepanjang percabangan

Teori : 2 prinsip berdasarkan struktur spesis dan sifat-sifat dalam dunia nyata.

lebih sedikit adalah lebih mungkin :

1. Spesis dihasilkan oleh sebuah evolusionir percabangan proses.  Cabang- taksonomi terstruktur spesis (Atran, 1998).

>

2. Fitur/ciri-ciri dihasilkan oleh proses mutasi stochastic dan diteruskan ke keturunan.  Ciri-ciri novel dapat muncul dimana saja dalam cabang,

tetapi beberapa distribusi lebih mirip dari yang lainnya.

“monophyletic”

“polyphyletic”

64

61

Proses mutasi menghasilkan p(h|T):  Memilih label untuk akar.

Sampel-sampel dari sebelum

 Probabilitas bahwa label memutasi

sepanjang cabang b : l = laju mutasi |b| = panjang cabang b

1  e 2  b 2

 Melabel yang memotong data sepanjang percabangan

T

p(h|T)

h

d


>

? ? ? ? ? ? ?

“lebih khusus”

?

Ciri-ciri

62


Sifat baru

65

menghasilkan p(h|T).

 Memilih label untuk akar.  Probabilitas bahwa label memutasi

 Pesan-pesan melalui cabang T

x x

sepanjang cabang b :

x

1  e 2  b 2

secara efisien jumlah semua h.  Bagaimana kita tahu cabang T

mana digunakan?

T

h

T Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10

?


Sifat baru

p(h|T)

h

d ? ? ? ? ? ? ?

Ciri-ciri

s1 s2 s3 s4 s5 s6 s7 s8 s9 s10

p(h|T)

Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10 63

“kurang khusus”

 Proses mutasi atas cabang T

Proses mutasi menghasilkan p(h|T):

l = laju mutasi |b| = panjang cabang b

lebih sedikit adalah lebih mungkin :

s1 s2 s3 s4 s5 s6 s7 s8 s9 s10

66

d ? ? ? ? ? ? ? ?

Ciri-ciri


Sifat baru


Proses mutasi sama menghasilkan p(ciri-ciri|T):

Dasar teori Bayes

 Asumsi tiap ciri dihasilkan secara

independen atas cabang.  Gunakan MCMC untuk simpulkan paling mungkin cabang T dan laju mutasi l diberikan ciri-ciri teramati.  Tidak ada parameter bebas !

59

s1 s2 s3 s4 s5 s6 s7 s8 s9 s10

T

Max-sim

p(h|T)

h

d


Sum-sim

? ? ? ? ? ? ?

Kesimpulan jenis:

“semua mamalia”

“horses”

“horses”

?

Ciri-ciri

67


Sifat baru

70

Hasil r = 0.91

r = 0.95

Banyaknya contoh:

3

2

1, 2, atau 3

Menjelaskan kesamaan

r = 0.91

 Kenapa Max-sim sangat cocok ?

“Dasar teori” Bayes

 Sebuah efisiensi dan pendekatan akurat pada model

dasar teori Bayesian.

r = 0.38

r = 0.16

– Korelasi dengan Bayes terhadap 3argumen umum premis, atas 100 cabang disimulasi :

r = 0.79

“Empiricist” Bayes r = 0.77

r = 0.75

Mean r = 0.94

Korelasi (r)

r = 0.94

 Teorema. Klasifikasi tetangga terdekat mendekati

Max-Sim

evolusionir Bayes pada batas laju tinggi mutasi, jika domain adalah cabang terstruktur. 71

68

Larangan pada kesamaan

Alternatif model-model dasar ciri

Rekonstruksi intuitif taksonomi dari penilaian-penilaian kesamaan:

 Taksonomi Bayes (hipotesis taksonomi secara

langsung, dengan tanpa proses mutasi)

> pengelompokan

“monophyletic” 69

72

“polyphyletic”

60


Prinsip mutasi vs murni pisau cukur Occam

Alternatif model-model dasar ciri  Taksonomi Bayes (hipotesis taksonomi secara

 Prinsip mutasi memberikan sebuah versi pisau cukur

langsung, dengan tanpa proses mutasi)

Occam, dengan menyukai hipotesis yang merentang lebih sedikit kelompok-kelompok urai.  Dapatkah kita gunakan lebih banyak pisau cukur Occam Bayesian generik, tanpa motivasi biologis permutasian ?

 Jaringan PDP (Rogers and McClelland)

Spesis 73

76

Ciri-ciri

Hasil r = 0.91

r = 0.95

Proses mutasi menghasilkan p(h|T): r = 0.91

 Memilih label ukur akar.

Bias tepat benar!

Dasar teori Bayes r = 0.51

r = 0.53

 Probabilitas bahwa label memutasi

sepanjang cabang b : 1  e 2  b 2 l = laju mutasi

r = 0.85

|b| = panjang cabang b

Bias terlalu kuat

Taksonomi Bayes

r = 0.41

r = 0.62

74

T

p(h|T)


r = 0.71

Jaringan PDP

s1 s2 s3 s4 s5 s6 s7 s8 s9 s10

Bias terlalu lemah

? ? ? ? ? ? ? ?

Ciri-ciri

77

d


Sifat baru

Proses mutasi menghasilkan p(h|T): Catatan :

 Memilih label ukur akar.  Probabilitas bahwa label memutasi

Grafik PDP diejek, korelasi tidak masalah.

sepanjang cabang b :

Grafik Tax Bayes tidak masalah, tidak yakin mengenai korelasi.



l = laju mutasi |b| = panjang cabang b

s1 s2 s3 s4 s5 s6 s7 s8 s9 s10

T

p(h|T)

h Spesis 1 Spesis 2 Spesis 3 Spesis 4 Spesis 5 Spesis 6 Spesis 7 Spesis 8 Spesis 9 Spesis 10 75

78

d ? ? ? ? ? ? ? ?

Ciri-ciri


Sifat baru


Bayes (taksonomi+ mutasi)

61

Induksi dalam Biologi: ringkasan

Ketipikalan efek premis (Rips, 1975; Osherson dkk., 1990):

 Kesimpulan dasar-teori Bayesian menjelaskan pemikiran

induktif taksonomi pada kalangan biologi.

Kuat:

Bayes (taksonomi+ Occam)

 Wawasan akun level pemrosesan.

Horses punya sifat P.

 Kenapa Max-sim diatas Sum-sim dalam domain ini ?


 Bagaimana representasi hirarki kompatibel dengan

ketipikalan efek-efek & perkecualian-perkecualian ?

Max-sim Lemah: kesimpulan jenis: “semua mamalia” 79

Banyaknya contoh :

 Mengungkapkan prinsip esensi teori domain

.

Seals punya sifat P.

 Kategori struktur: cabang taksonomi.


 Fitur/ciri distribusi: proses mutasi stochastic + warisan .

1

82

Ketipikalan sesuai hirarki

Rencana pembahasan

 Collins dan Quillian: semantik memori terstruktur

 Model-model berdasarkan kesamaan

secara hirarki

 Teori-berdasarkan model  Model-model Bayesian  “Empiricist” Bayes  Teori-berdasarkan Bayes, dengan teori-teori beda

 Model-model koneksionis (PDP)  Teori lanjutan berdasarkan Bayes  Pembelajaran dengan teori domain banyak

 Cerita tradisional : Struktur hirarki sederhana tidak


nyaman dengan ketipikalan efek & perkecualian.  Cerita baru : ketipikalan & perkecualian kompatibel 80

dengan kesimpulan statistik rasional atas hirarki.

83

Tipe sifat “Esensi” generik

Intuitif vs Teori keilmuan biologi

Teori Struktur Cabang taksonomi

 Struktur sama untuk bagaimana spesis terhubung.  Cabang-terstruktur taksonomi.

Lion Cheetah

 Model probabilistik sama untuk ciri-ciri/sifat

Hyena

 Probabilitas kecil terjadi sepanjang tiap cabang pada tiap

Giraffe

waktu, tambah warisan.

Gazelle

 Ciri-ciri beda

Gorilla

 Ilmuwan: gen-gen

Monkey

 Masyarakat : anatomi dan perilaku kasar ... 81

84

Lion Cheetah Hyena Giraffe Gazelle Gorilla Monkey

62


Tipe sifat “Esensi” generik Teori Struktur Cabang taksonomi

Ukuran terkait

Makanan terkait

Dimensi

Jaringan langsung Acyclic

Giraffe

Lion

Model Sesuai jaringan makanan (Shafto dkk.)

P S

Giraffe

Cheetah Hyena

Lion Gorilla

Giraffe

Hyena

Gazelle

Gazelle Cheetah

Monkey

Monkey

Gorilla

Gorilla

Monkey

Lion Cheetah Hyena Giraffe Gazelle Gorilla 85 Monkey

Lion

Gazelle

Hyena

r = 0.82

r = -0.35

r = -0.05

Cheetah

...

...

r = 0.77

...

88

Mamalia

Pulau

Model Sesuai jaringan makanan

Satu-dimensional memprediksi

(Shafto dkk.)

 Q = “punya kulit yang tahan terhadap penetrasi dari

kebanyakan serat sintesis”.

 Sifat relevan tidak diketahui: kekerasan kulit

 Model pengaruh pada sifat diketahui melalui probabilitas

penilaian “sebelum” bahwa tiap spesis punya Q.

r = -0.12

r = 0.16

r = 0.81

r = 0.62

ambang untuk Q

Kekerasan kulit

86

House cat

Camel Elephant

Rhino

89

Satu-dimensional memprediksi

Mamalia

Pulau

Rencana pembahasan

 Model-model berdasarkan kesamaan

Bayes (taksonomi+ mutasi)

 Teori-berdasarkan model  Model-model Bayesian  “Empiricist” Bayes

 Teori-berdasarkan Bayes, dengan teori-teori beda

Max-sim


 Teori lanjutan berdasarkan Bayes

 Pembelajaran dengan teori domain banyak

Bayes (1D model)


kulit

87

Sekolah 1P

Sekolah 2P

visual

90


Teori

63

• Spesis diorganisir dalam cabang struktur taksonomi • Ciri-ciri i dihasilkan oleh proses mutasi dengan laju li

Dari mana teori domain datang ?

p(S|T)

 Asli/bawaan.

F9 F8

Domain Struktur

F7 F11

 Atran (1998): The tendency to group living kinds into

F14 F13

F6

F14

F12 F3

F1 F10

F2

hierarchies reflects an “innately determined cognitive structure” (kecenderungan jenis hidup berkelompok dalam hirarki

F10

F4 F10

F5

S3 S4 S1 S2 S9 S10 S5 S6 S7 S8

mencerminkan secara bawaan menentukan sebuah struktur kognitif).

p(D|S)

Data

Species 1 Species 2 Species 3 Species 4 Species 5 Species 6 Species 7 Species 8 Species 9 Species 10

 Emerges (only approximately) through learning in

unstructured connectionist networks ( muncul melalui pembelajaran jaringan ahli koneksi tidak terstruktur)  McClelland and Rogers (2003).

l10 tinggi ~ bobot rendah

91

Teori

94


Kesimpulan Bayesian ke teori-teori

p(S|T) F9

 Tantangan kepada dikotomi nativist-empiricist.

F8

Domain Struktur

F7 F11

F14

 Kita benar-benar mempunyai teori-teori domain

F13 F6

F12 F3

F1 F10

F14 F2

F10

F4 F10

terstruktur.

F5

 Kita benar-benar mempelajari mereka.

S3 S4 S1 S2 S9 S10 S5 S6 S7 S8

p(D|S)

Data

92

Teori

 Kerangka kerja Bayesian berlaku atas level banyak :

Species 1 Species 2 Species 3 Species 4 Species 5 Species 6 Species 7 Species 8 Species 9 Species 10 Spesis X

 Diberi ruang hipotesis + data, simpulkan konsep-konsep.  Diberikan teori + data, simpulkan ruang hipotesis.  Diberikan X + data, simpulkan teori.

?

?

?

? ?

?

?

?

?

?

?

?

?

95


Kesimpulan Bayesian ke teori-teori

p(S|T)

 Teori-teori kandidat untuk spesis biologis dan ciri-ciri

F9

mereka :

F8

Domain Struktur

F7 F11

F14

 T0: Ciri-ciri dihasilkan secara independen untuk tiap spesis. (misalnya. naive Bayes, model rasional Anderson.)

F13 F6

F14

F12 F3

F1 F10

F2

F4 F10

F10 F5

 T1: Ciri-ciri dihasilkan oleh mutasi dalam cabang-terstruktur

S3 S4 S1 S2 S9 S10 S5 S6 S7 S8

p(D|S)

Data

93

taksonomi spesis.

SX

 T2: Ciri-ciri dihasilkan oleh mutasi dalam saru-dimensional

Species 1 Species 2 Species 3 Species 4 Species 5 Species 6 Species 7 Species 8 Species 9 Species 10 Spesis X

rantai spesis.  Teori-teori skor oleh kemungkinan terhadap matrik ciri-

obyek :

p( D | T )   p( D | S , T ) p( S | T ) S

 max p ( D | S , T ) p ( S | T ) 96

S

64


untuk: p(Data|T1) ~ 1.83 x 10-41 • Tidak ada struktur organisasional untuk spesis. • Ciri-ciri terdistribusi secara independen atas spesis.

Untuk : • Tidak ada struktur organisasional untuk spesis. • Ciri-ciri terdistribusi secara independen atas spesis.

F1 F2 F5 F8 F9

F1 F2 F3 F2 F5 F2 F4 F7 F4 F1 F6 F8 F7 F5 F7 F10 F9 F7 F9 F12 F12 F13 F14 F13 F14 F14

S1 S2

S3 S4

Data

T1: p(Data|T2) ~ 2.42 x 10-32 • Spesis diorganisir dalam struktur cabang taksonomi. • Ciri-ciri terdistribusi melalui proses mutasi stochastic. F9

F1 F2 F6 F2 F4 F7 F4 F2 F1 F8 F8 F5 F3 F6 F9 F9 F12 F6 F8 F10 F10 F13 F11 F9 F11 F13 F14 F13 F12 F14

S5 S6

F1 F6 F7 F8 F9 F11

S7 S8 S9 S10

F1 F3 F3 F6 F7 F7 F7 F8 F8 F8 F9 F9 F9 F11 F11 F4 F10 F12 F12 F8 F11 F14 F14 F9

S1 S2


S3 S4

Data

97

F8

F4 F8 F9

S5 S6

F2 F5 F5 F6 F9 F9 F7 F10 F10 F8 F13 F13 F9 F14 F14 F11

S7


F13

F3


S1 S2

S3 S4

Data

F4 F8 F9

S5 S6


S7

F1 F2 F5 F8 F9

S8 S9 S10


T1: • Spesis diorganisir dalam struktur cabang taksonomi. • Ciri-ciri terdistribusi melalui proses mutasi stochastic.

S1 S2

S3 S4

Data

99

F8

F4 F8 F9

S5 S6


S7

S3 S4

F7 F11

F2 F6 F7 F8 F9 F11

F14 F13

F12 F3

S8 S9 S10

F6 F1 F10

F2

F14

F10

F4

F5

S3 S4 S1 S2 S9 S10 S5 S6 S7 S8


F1 F2 F5 F8 F9

F6

S7 S8 S9 S10

F2

F12 F12 F5

F1 F5 F7 F13 F12 F13 F10

F8 F9

F11 F13 F13 F10 F11 F9 F6 F8 F3

F10

F8

F12 F7 F5 F2 F6 F6

F2

F3 F14

S2 S4 S7 S10 S8 S1 S9 S6 S3 S5


F1 F2 F3 F2 F5 F2 F4 F7 F4 F1 F6 F8 F7 F5 F7 F10 F9 F7 F9 F12 F12 F13 F14 F13 F14 F14

S1 S2

102

F5

Ciri-ciri

S3 S4

Data

Ciri-ciri

S5 S6

F9 F7

T0: p(Data|T1) ~ 2.29 x 10-42 • Tidak ada struktur organisasional untuk spesis. • Ciri-ciri terdistribusi secara independen atas spesis.

F9 F1 F3 F3 F6 F7 F7 F7 F8 F8 F8 F9 F9 F9 F11 F11 F4 F10 F12 F12 F8 F11 F14 F14 F9

F10

F4

T1: • Spesis diorganisir dalam struktur cabang taksonomi. • Ciri-ciri terdistribusi melalui proses mutasi stochastic. F4 F14


101

Ciri-ciri

F1 F6 F7 F8 F9 F11


Data

98

F14

Ciri-ciri

S1 S2


F2



F2 F6 F7 F8 F9 F11

F1 F10

S3 S4 S1 S2 S9 S10 S5 S6 S7 S8

F1 F2

F1 F6 F7 F8 F9 F11

F14

F6

F12

S8 S9 S10

100

Ciri-ciri

F7 F11

F2 F6 F7 F8 F9 F11

F4 F14


S5 S6

T1: p(Data|T2) ~ 4.38 x 10-53 • Spesis diorganisir dalam struktur cabang taksonomi. • Ciri-ciri terdistribusi melalui proses mutasi stochastic.

F9 F7

F6

S7 S8 S9 S10

F2

F12 F12 F5

F1 F5 F7 F13 F12 F13 F10

F8 F9

F11 F13 F13 F10 F11 F9 F6 F8 F3

F10

F8

F12 F7 F5 F2 F6 F6

F2

F3 F14

S2 S4 S7 S10 S8 S1 S9 S6 S3 S5


Ciri-ciri


Uji-uji empiris  Data sintetik: 32 obyek, 120 ciri  model generatif cabang-terstruktur  Model generatif rantai linear  Tidak terbatasi (cri-ciri independen).

 Real data  Penilaian-penilaian ciri binatang 48 spesis, 85 ciri.  Keputusan US Supreme Court, 1981-1985: 9 orang, 637

kasus.

103

Hasil Lebih suka Model Null Tree Linear Tree Linear Tabel 1 “ algoritma faktor Bayes untuk 3 sintetik dan 2 himpunan data dunia nyata.

104

Teori akuisisi: ringkasan  Sejauh ini, hanya sebuah konsep pembuktian

komputasional.  Kerja di masa mendatang :  Study secara percobaan pada teori akuisisi dalam

laboratorium, dengan orang dewasa dan anak-anak sebagai subyek.  Pemodelan pembangunan atau projeksi historis pada teori perubahan.  Sumber hipotesis untuk teori-teori kandidat :  Apa asli /bawaan?  Peran analogi? 105

65

66


Lampiran

67

LAMPIRAN

68


Model generatif untuk bahasa Topik Lanjutan Struktur tersembunyi

Data diamati

1

4


Model generatif untuk bahasa

 Pemodelan bahasa statistik  topik model-model

makna

 Pengkategorian relasional  atribut dan relasi

kalimat

2

5

Pemodelan bahasa statistik

Topik model-model

 Variasi pendekatan untuk pemodelan bahasa statistik

 Tiap dokumen merupakan campuran topik-topik

digunakan dalam ilmu pengetahuan kognitif

 Tiap kata dipilih dari sebuah topik tunggal

 misalnya. LSA (Landauer & Dumais, 1997)  pengelompokan distribusional (Redington, Chater, & Finch,

1998)  Model-model generatif mempunyai kelebihan unik  mengidentifikasi struktur bahasa kausal yang diasumsikan  memanfaatkan peralatan standar statistik Bayesian

 Diperkenalkan oleh Blei, Ng, dan Jordan (2001), di

 dengan mudah diperluas untuk mencakup struktur lebih

interpretasi ulang pada PLSI (Hofmann, 1999)

kompleks 3

 Ide pada topik probabilistik secara luas digunakan 6

(misal. Bigi , 1997; Iyer & Ostendorf, 1996; Ueda & Saito, 2003)

Lampiran

69

Menghasilkan sebuah dokumen

Seleksi topik-topik (dari 500)

Distribusi atas topik-topik

q z

z

z

w

w

w

penugasan topik kata-kata teramati

7

THEORY SCIENTISTS EXPERIMENT OBSERVATIONS SCIENTIFIC EXPERIMENTS HYPOTHESIS EXPLAIN SCIENTIST OBSERVED EXPLANATION BASED OBSERVATION IDEA EVIDENCE THEORIES BELIEVED DISCOVERED OBSERVE FACTS

SPACE EARTH MOON PLANET ROCKET MARS ORBIT ASTRONAUTS FIRST SPACECRAFT JUPITER SATELLITE SATELLITES ATMOSPHERE SPACESHIP SURFACE SCIENTISTS ASTRONAUT SATURN MILES

ART STUDENTS PAINT TEACHER ARTIST STUDENT PAINTING TEACHERS PAINTED TEACHING ARTISTS CLASS MUSEUM CLASSROOM WORK SCHOOL PAINTINGS LEARNING STYLE PUPILS PICTURES CONTENT WORKS INSTRUCTION OWN TAUGHT SCULPTURE GROUP PAINTER GRADE ARTS SHOULD BEAUTIFUL GRADES DESIGNS CLASSES PORTRAIT PUPIL PAINTERS GIVEN

BRAIN NERVE SENSE SENSES ARE NERVOUS NERVES BODY SMELL TASTE TOUCH MESSAGES IMPULSES CORD ORGANS SPINAL FIBERS SENSORY PAIN IS

CURRENT ELECTRICITY ELECTRIC CIRCUIT IS ELECTRICAL VOLTAGE FLOW BATTERY WIRE WIRES SWITCH CONNECTED ELECTRONS RESISTANCE POWER CONDUCTORS CIRCUITS TUBE NEGATIVE

NATURE WORLD HUMAN PHILOSOPHY MORAL KNOWLEDGE THOUGHT REASON SENSE OUR TRUTH NATURAL EXISTENCE BEING LIFE MIND ARISTOTLE BELIEVED EXPERIENCE REALITY

THIRD FIRST SECOND THREE FOURTH FOUR GRADE TWO FIFTH SEVENTH SIXTH EIGHTH HALF SEVEN SIX SINGLE NINTH END TENTH ANOTHER

10

Seleksi topik-topik (dari 500) P(w|z = 1) = f (1)

w

HEART LOVE SOUL TEARS JOY SCIENTIFIC KNOWLEDGE WORK RESEARCH MATHEMATICS topik 1

0.2 0.2 0.2 0.2 0.2 0.0 0.0 0.0 0.0 0.0

w

P(w|z = 2) = f (2)

HEART LOVE SOUL TEARS JOY SCIENTIFIC KNOWLEDGE WORK RESEARCH MATHEMATICS

0.0 0.0 0.0 0.0 0.0 0.2 0.2 0.2 0.2 0.2

topik 2

JOB SCIENCE BALL FIELD MIND STORY DISEASE WATER WORK STUDY GAME MAGNETIC STORIES WORLD BACTERIA FISH JOBS SCIENTISTS TEAM MAGNET DREAM TELL DISEASES SEA CAREER SCIENTIFIC FOOTBALL WIRE CHARACTER GERMS DREAMS SWIM KNOWLEDGE BASEBALL EXPERIENCE NEEDLE THOUGHT CHARACTERS FEVER SWIMMING EMPLOYMENT WORK PLAYERS CURRENT AUTHOR CAUSE IMAGINATION POOL OPPORTUNITIES RESEARCH PLAY COIL READ MOMENT CAUSED LIKE WORKING CHEMISTRY FIELD POLES THOUGHTS TOLD SPREAD SHELL TRAINING TECHNOLOGY PLAYER IRON SETTING VIRUSES OWN SHARK SKILLS MANY BASKETBALL COMPASS REAL TALES INFECTION TANK CAREERS MATHEMATICS COACH LINES PLOT VIRUS LIFE SHELLS POSITIONS BIOLOGY PLAYED CORE TELLING IMAGINE MICROORGANISMS SHARKS FIND FIELD PLAYING ELECTRIC SENSE SHORT PERSON DIVING POSITION PHYSICS HIT DIRECTION INFECTIOUS DOLPHINS CONSCIOUSNESS FICTION FIELD LABORATORY TENNIS FORCE STRANGE ACTION COMMON SWAM OCCUPATIONS STUDIES TEAMS MAGNETS TRUE CAUSING FEELING LONG REQUIRE WORLD GAMES BE WHOLE EVENTS SMALLPOX SEAL OPPORTUNITY SPORTS MAGNETISM SCIENTIST BEING TELLS BODY DIVE EARN STUDYING BAT POLE TALE INFECTIONS MIGHT DOLPHIN ABLE SCIENCES TERRY INDUCED HOPE NOVEL CERTAIN UNDERWATER

11

8

Seleksi topik-topik (dari 500)

Memilih campuran bobot untuk tiap dokumen, menghasilkan “tas kata-kata /bag of words” q = {P(z = 1), P(z = 2)} {0, 1} {0.25, 0.75}

9

MATHEMATICS KNOWLEDGE RESEARCH WORK MATHEMATICS RESEARCH WORK SCIENTIFIC MATHEMATICS WORK SCIENTIFIC KNOWLEDGE MATHEMATICS SCIENTIFIC HEART LOVE TEARS KNOWLEDGE HEART

{0.5, 0.5}

MATHEMATICS HEART RESEARCH LOVE MATHEMATICS WORK TEARS SOUL KNOWLEDGE HEART

{0.75, 0.25}

WORK JOY SOUL TEARS MATHEMATICS TEARS LOVE LOVE LOVE SOUL

{1, 0}

TEARS LOVE JOY SOUL LOVE TEARS SOUL SOUL TEARS JOY

JOB SCIENCE BALL FIELD MIND STORY DISEASE WATER WORK STUDY GAME MAGNETIC STORIES WORLD BACTERIA FISH JOBS SCIENTISTS TEAM MAGNET DREAM TELL DISEASES SEA CAREER SCIENTIFIC FOOTBALL WIRE CHARACTER GERMS DREAMS SWIM KNOWLEDGE BASEBALL EXPERIENCE NEEDLE THOUGHT CHARACTERS FEVER SWIMMING EMPLOYMENT WORK PLAYERS CURRENT AUTHOR CAUSE IMAGINATION POOL OPPORTUNITIES RESEARCH PLAY COIL READ MOMENT CAUSED LIKE WORKING CHEMISTRY FIELD POLES THOUGHTS TOLD SPREAD SHELL TRAINING TECHNOLOGY PLAYER IRON SETTING VIRUSES OWN SHARK SKILLS MANY BASKETBALL COMPASS REAL TALES INFECTION TANK CAREERS MATHEMATICS COACH LINES PLOT VIRUS LIFE SHELLS POSITIONS BIOLOGY PLAYED CORE TELLING IMAGINE MICROORGANISMS SHARKS FIND FIELD PLAYING ELECTRIC SENSE SHORT PERSON DIVING POSITION PHYSICS HIT DIRECTION INFECTIOUS DOLPHINS CONSCIOUSNESS FICTION FIELD LABORATORY TENNIS FORCE STRANGE ACTION COMMON SWAM OCCUPATIONS STUDIES TEAMS MAGNETS TRUE CAUSING FEELING LONG REQUIRE WORLD GAMES BE WHOLE EVENTS SMALLPOX SEAL OPPORTUNITY SPORTS MAGNETISM SCIENTIST BEING TELLS BODY DIVE EARN STUDYING BA T POLE TALE INFECTIONS MIGHT DOLPHIN ABLE SCIENCES TERRY INDUCED HOPE NOVEL CERTAIN UNDERWATER

12

70


Hirarki Pembelajaran topik

x=2 x=1 z = 1 0.4 HEART LOVE SOUL TEARS JOY

0.2 0.2 0.2 0.2 0.2

OF 0.6 FOR 0.3 BETWEEN 0.1

0.8 z = 2 0.6

SCIENTIFIC KNOWLEDGE WORK RESEARCH MATHEMATICS

0.2 0.2 0.2 0.2 0.2

0.7 0.1

0.3 0.2

x=3 THE 0.6 A 0.3 MANY 0.1

0.9

THE ……………………………… (Blei, Griffiths, Jordan, & Tenenbaum, 2004)

13

16

Sintaks dan semantik dari statistik

x=2 x=1

Faktorisasi bahasa berdasarkan semantik: probabilistas topik-topik pola-pola ketergantungan statistik: q Jangkauan-panjang, dokumen spesifik, ketergantungan z z z

Jangkauan-pendek ketergantungan konstan melintasi semua documen

w

w

w

x

x

x


0.2 0.2 0.2 0.2 0.2

0.7

x=3 THE 0.6 A 0.3 MANY 0.1

0.9

THE LOVE…………………… 17

(Griffiths, Steyvers, Blei, & Tenenbaum, diusulkan)

x=2 x=1 z = 1 0.4 HEART LOVE SOUL TEARS JOY

0.2 0.2 0.2 0.2 0.2

z = 2 0.6 SCIENTIFIC KNOWLEDGE WORK RESEARCH MATHEMATICS

0.2 0.2 0.2 0.2 0.2

x=2


0.8

x=1 z = 1 0.4 HEART LOVE SOUL TEARS JOY

0.7 0.1

0.3 0.2

0.9

0.2 0.2 0.2 0.2 0.2


0.8 z = 2 0.6


0.2 0.2 0.2 0.2 0.2

0.7

x=3 THE 0.6 A 0.3 MANY 0.1

0.9

18

0.1

0.3 0.2

THE LOVE OF……………… 15

0.1

0.3 0.2

sintaks: probabilistas tatabahasa biasa 14

0.2 0.2 0.2 0.2 0.2

0.8 z = 2 0.6

z = 1 0.4 HEART LOVE SOUL TEARS JOY


x=3 THE 0.6 A 0.3 MANY 0.1

Lampiran

71

Pemodelan bahasa statistik

x=2 x=1

0.2 0.2 0.2 0.2 0.2

0.8 z = 2 0.6

z = 1 0.4 HEART LOVE SOUL TEARS JOY



0.2 0.2 0.2 0.2 0.2

 Model-model generatif memberikan  transparansi asumsi mengenai proses kausal

0.7

0.2

0.9

 kesempatan menggabungkan dan model-model diperluas

0.1

0.3

 Model-model generatif lebih kaya... x=3

 probabilistik tatabahasa bebas-konteks  paragraf atau ketergantungan level kalimat

THE 0.6 A 0.3 MANY 0.1

 Semantik lebih kompleks

THE LOVE OF RESEARCH …… 19

22

Kategori semantik

Struktur dan statistik  Pemodelan bahasa statistik

MAP FOOD NORTH FOODS EARTH BODY SOUTH NUTRIENTS POLE DIET MAPS FAT EQUATOR SUGAR WEST ENERGY LINES MILK EAST EATING AUSTRALIA FRUITS GLOBE VEGETABLES POLES WEIGHT HEMISPHERE FATS LATITUDE NEEDS CARBOHYDRATES PLACES LAND VITAMINS WORLD CALORIES COMPASS PROTEIN CONTINENTS MINERALS

GOLD CELLS DOCTOR BOOK BEHAVIOR IRON SELF CELL PATIENT BOOKS SILVER INDIVIDUAL ORGANISMS HEALTH READING ALGAE PERSONALITY HOSPITAL INFORMATION COPPER METAL RESPONSE BACTERIA MEDICAL LIBRARY METALS MICROSCOPE SOCIAL CARE REPORT STEEL EMOTIONAL MEMBRANE PATIENTS PAGE CLAY LEARNING ORGANISM NURSE TITLE LEAD FOOD FEELINGS DOCTORS SUBJECT ADAM PSYCHOLOGISTS LIVING MEDICINE PAGES ORE FUNGI INDIVIDUALS NURSING GUIDE ALUMINUM PSYCHOLOGICAL MOLD TREATMENT WORDS MINERAL EXPERIENCES MATERIALS NURSES MATERIAL MINE ENVIRONMENT NUCLEUS PHYSICIAN ARTICLE STONE HUMAN CELLED HOSPITALS ARTICLES MINERALS STRUCTURES RESPONSES DR WORD POT BEHAVIORS MATERIAL SICK FACTS MINING ATTITUDES STRUCTURE ASSISTANT AUTHOR MINERS PSYCHOLOGY GREEN EMERGENCY REFERENCE TIN PERSON MOLDS PRACTICE NOTE

 topik model-model

PLANTS PLANT LEAVES SEEDS SOIL ROOTS FLOWERS WATER FOOD GREEN SEED STEMS FLOWER STEM LEAF ANIMALS ROOT POLLEN GROWING GROW

20

 Pengkategorian relational  atribut dan relasi

23

Kategori Sintatik SAID ASKED THOUGHT TOLD SAYS MEANS CALLED CRIED SHOWS ANSWERED TELLS REPLIED SHOUTED EXPLAINED LAUGHED MEANT WROTE SHOWED BELIEVED WHISPERED

THE HIS THEIR YOUR HER ITS MY OUR THIS THESE A AN THAT NEW THOSE EACH MR ANY MRS ALL

MORE SUCH LESS MUCH KNOWN JUST BETTER RATHER GREATER HIGHER LARGER LONGER FASTER EXACTLY SMALLER SOMETHING BIGGER FEWER LOWER ALMOST

ON AT INTO FROM WITH THROUGH OVER AROUND AGAINST ACROSS UPON TOWARD UNDER ALONG NEAR BEHIND OFF ABOVE DOWN BEFORE

Pengkategorian relasional GOOD SMALL NEW IMPORTANT GREAT LITTLE LARGE * BIG LONG HIGH DIFFERENT SPECIAL OLD STRONG YOUNG COMMON WHITE SINGLE CERTAIN

ONE SOME MANY TWO EACH ALL MOST ANY THREE THIS EVERY SEVERAL FOUR FIVE BOTH TEN SIX MUCH TWENTY EIGHT

HE YOU THEY I SHE WE IT PEOPLE EVERYONE OTHERS SCIENTISTS SOMEONE WHO NOBODY ONE SOMETHING ANYONE EVERYBODY SOME THEN

 Kebanyakan pendekatan untuk kategori dalam

BE MAKE GET HAVE GO TAKE DO FIND USE SEE HELP KEEP GIVE LOOK COME WORK MOVE LIVE EAT BECOME

psikologi dan mesin pembelajaran fokus pada atribut – sifat sifat obyek  kata-kata pada judul-judul poster CogSci

 Tetapi… porsi pengetahuan signifikan diorganisir

dalam hal relasi  ko-pengarang pada poster-poster  Siapa bicara kepada siapa

(Kemp, Griffiths, & Tenenbaum, 2004) 21

24

72


Mengelompokan kata-kata

Atribut dan Relasi Model

Data

• Data relasional: norma asosiasi kata

objects

(Nelson, McEvoy, & Schreiber, 1998)

P(X) = ik z P(xik|zi) i P(zi)

X

model campuran (c.f. Anderson, 1990)

oa

• 5018 x 5018 matrik pada asosiasi

– simetris – Semua kata-kata dengan < 50 dan > 10 asosiasi – 2513 simpul, 34716 tautan

objects

P(Y) = ij z P(yij|zi) i P(zi)

Y

model blok stochastic

28

25

Model blok Stochastic

 Untuk tiap pasangan obyek, (i,j), probabilitas relasi

ditentukan oleh kelas-kelas, (zi, zj) Ke tipe j

Dari tipe i

l11

l12

l13

l21

l22

l23

l31

l32

l33

=L

Tiap entitas mempunyai sebuah tipe = Z

P(Z,L|Y)  P(Y|Z,L)P(Z)P(L)

 Memungkinkan tipe-tipe obyek dan probabilitas kelas-

kelas dipelajari dari data

29

26

Model blok Stochastic A

B

C

A

27

B

C

A

B

D

C

A B C

A

A B

B

C

C

D

D

30

Lampiran

73

Mengelompokan kata-kata BAND INSTRUMENT BLOW HORN FLUTE BRASS GUITAR PIANO TUBA TRUMPET

TIE COAT SHOES ROPE LEATHER SHOE HAT PANTS WEDDING STRING

SEW MATERIAL WOOL YARN WEAR TEAR FRAY JEANS COTTON CARPET

WASH LIQUID BATHROOM SINK CLEANER STAIN DRAIN DISHES TUB SCRUB

31

34

Mengelompokan aktor-aktor

Mengelompokan aktor-aktor

 Internet Movie Database (IMDB) data, dari awal

sinema sampai 1960 (Jeremy Kubica)  Data relasional: kolaborasi

Albert Lieven Karel Stepanek Walter Rilla Anton Walbrook

 5000 x 5000 matriks pada kebanyakan aktor-aktor

produktif  semua aktors dengan < 400 dan > 1 kolaborator  2275 simpul, 204761 tautan

Germany  UK 32

Moore Marriott Laurence Hanray Gus McNaughton Gordon Harker Helen Haye Alfred Goddard Morland Graham Margaret Lockwood Hal Gordon Bromley Davenport

Gino Cervi Nadia Gray Enrico Glori Paolo Stoppa Bernardi Nerio Amedeo Nazzari Gina Lollobrigida Aldo Silvani Franco Interlenghi Guido Celano

Archie Ricks Helen Gibson Oscar Gahan Buck Moulton Buck Connors Clyde McClary Barney Beasley Buck Morgan Tex Phelps George Sowards

Italian

US Westerns

British comedy

35

Struktur dan statistik  Pendekatan Bayesian memungkinkan kita

menspesifikasi model-model probabilistik terstruktur  Representasi eksplorasi novel dan domain-domain  topik-topik untuk representasi semantik  pengkategorian relasional

 Menggunakan metode kuat untuk kesimpulan,

dikembangkan dalam statistik dan mesin pembelajaran

33

36

74


Pembelajaran induktif model Bayesian

Metode lain dan peralatan...

 Lompatan induktif dapat dijelaskan dengan hirarki

 Algoritma kesimpulan

teori dasar model Bayesian :

 perambatan kepercayaan  pemograman dinamik  algoritma EM dan metode-metode variasional

T

 Markov merantaikan Monte Carlo

 Model-model lebih kompleks  Proses-proses Dirichlet dan Bayesian bukan-parametrik

S

S

D D D

D D D

S

 Proses-proses Gaussian dan metode-metode kernel

37

sumber http://www.bayesiancognition.com

D D

... D ...

40

Pembelajaran induktif model Bayesian  Lompatan induktif dapat dijelaskan dengan hirarki teori

dasar model Bayesian

Ambil Stok

 Menawarkan pendekatan apa :  Model quantitatif kuat pada perilaku generalisasi.  Fleksibilitas terhadap model pola beda pemikiran yang

beda tugas-tugas dan domain-domain, menggunakan secara beda teori terstruktur, tetapi mesin Bayesian maksud umum yang sama.  Kerangka kerja menjelaskan kenapa generalisasi induktif bekerja, dimana pengetahahuan datang dari sebanding bagaimana ia digunakan.

38

41





teori dasar model Bayesian :

teori dasar model Bayesian.  Tantangan :  Teori-teori adalah sulit.

Teori Domain Model Generatif Probabilistik

Hipotesis Struktural

Kesimpulan Bayesian

Data

39

42

Lampiran

Pembelajaran induktif model Bayesian  Lompatan induktif dapat dijelaskan dengan hirarki teori

dasar model Bayesian :  Interaksi antara struktur dan statistik adalah krusial.  Bagaimana pengetahuan terstruktur mendukung

pembelajaran statistik, dengan membatasi ruang- ruang hipotesis.  Bagimana statistik mendukung pemikiran dengan dan pembelajaran pengetahuan terstruktur.  Bagaimana struktur kompleks dapat tumbuh dari data, dari pada secara penuh di spesifikan lebih awal.

43

75

76


Daftar Pustaka

1.

Fausett, Laurene ; “ Fundamentals of Neural Networks”; 1994 ; Printice-Hall, Inc

2.

Freeman, James A; “ Simulating Neural Networks”; 1994 ; John Wiley & Sons.

3.

Haykin, Simon; “ Neural Networks”; 1994 ; Macmillan Publishing Campany, Inc.

4.

http://www.bayesiancognition.com

5.

Lau, Clifford; Sanchez, Edgar ; “Artificial Neural Networks” ; 1992 ; IEEE Press.

6.

Lau, Clifford; “Neural Networks”; 1991 ; IEEE Press.

7.

Li, Min Fu; “Neural Networks in Computer Intelligence”; 1994; McGraw-Hill, Inc.

8.

Lugger, George F; Stubblefield, William A; “Artificial Intelligence, and The Design of Expert Systems “; 1989; The Benjamin Cummings Publishing Company, Inc.

9.

Lugger, George F; Stubblefield, William A; “Artificial Intelligence, Structure and Strategies for Complex Problem Solving”; 1993; The Benjamin Cummings Publishing Company, Inc.

10. Russell, Stuart; Norvig, Peter; “Artificial Intelligence, A Modern Approach”; 2003; Printice-Hall, Inc. 11. Rich, Elaine; Knight, Kevin; ”Artificial Intelligence”; 1991; McGraw-Hill, Inc. 12. Turban, Efraim; “Expert Systems and Applied Artificial Intelligence”; 1992 ; Macmillan Pusblishing Company, Inc. 13. Zurada, Jacek M ; “Introduction to Artificial Neural Systems”; 2002; Jaico Publishing House. 14. Smith, Eric P; Nadler, Morton; “Pattern Recognition Engineering”; 1993; John Welley & Sons, Inc.

Catatan : sebagian bacaan acuan telah langsung tercantum pada pembahasan pada bab-bab utama diatas.

Pembelajaran Induktif Model Bayesian

Recommend Documents