Teknik Informatika UKDW Yogyakarta

4/1/13

Budi Susanto Versi 1.1 15/01/2013

Teknik Informatika UKDW Yogyakarta

1

 Memahami

pengertian dari text mining dan web mining  Memahami latar belakang perlunya pengolahan dokumen teks dan web  Memahami arsitektur dasar aplikasi text dan web mining  Mengetahui beberapa contoh aplikasi text dan web mining Teknik Informatika UKDW Yogyakarta

2

1

4/1/13

Outlook

Temperature

Humidity

Windy

Play

Sunny Sunny Overcast Rainy Rainy Rainy Overcast Sunny Sunny Rainy Sunny Overcast Overcast Rainy

Hot Hot Hot Mild Cool Cool Cool Mild Cool Mild Mild Mild Hot Mild

High High High High Normal Normal Normal High Normal Normal Normal High Normal High

False True False False False True True False False False True True False True

No No Yes Yes Yes No Yes No Yes Yes Yes Yes Yes No



3

4

2

4/1/13


5

  Menurut

Loretta Auvil dan Duane Searsmith dari University of Illinois, karakteristik dokumen teks:

•  database teks yang berukuran besar, •  memiliki dimensi yang tinggi, yakni satu kata merupakan satu

dimensi,

•  mengandung kumpulan kata yang saling terkait (frase) dan

antara kumpulan kata satu dengan lain dapat memiliki arti yang berbeda, •  banyak mengandung kata ataupun arti yang bias (ambiguity), •  dokumen email merupakan dokumen yang tidak memiliki struktur bahasa yang baku, karena di dalamnya terkadang muncul istilah slank seperti ”r u there?”, ”helllooo bosss, whatzzzzzzz up?”, dan sebagainya.


6

3

4/1/13

  Data

mining adalah suatu proses yang secara otomatis mencari atau menemukan informasi yang bermanfaat dari suatu kumpulan data yang besar.   Tidak semua tugas penemuan informasi disebut sebagai data mining. •  Sebagai contoh, pencarian data pribadi dengan

menggunakan sebuah sistem manajemen basis data, atau •  pencarian suatu halaman web tertentu dengan cara melakukan query pada search engine di Internet. •  Sebutkan contoh lain? Teknik Informatika UKDW Yogyakarta

7

  Text

mining merupakan penerapan konsep dan teknik data mining untuk mencari pola dalam teks, yaitu proses penganalisisan teks guna menyarikan informasi yang bermanfaat untuk tujuan tertentu.   Berdasarkan ketidakteraturan struktur data teks, maka proses text mining memerlukan beberapa tahap awal yang pada intinya adalah mempersiapkan agar teks dapat diubah menjadi lebih terstruktur. Teknik Informatika UKDW Yogyakarta

8

4

4/1/13


9

  tahap

text preprocessing akan dilakukan analisis terhadap sintak dan atau semantik (di sini terdapat proses tokenisasi).   tahap text transformation, diterapkan proses stopword list dan atau stemming.   tahapan features selection akan dilakukan perhitungan jumlah kata yang muncul ataupun statistik sederhana lainnya.


10

5

4/1/13

  Tokenisasi

secara garis besar memecah sekumpulan karakter dalam suatu teks ke dalam satuan kata. •  bagaimana membedakan karakter-karakter tertentu yang dapat

diperlakukan sebagai pemisah kata atau bukan.

•  Sebagai contoh karakter whitespace, seperti enter, tabulasi,

spasi dianggap sebagai pemisah kata.

  Namun

untuk karakter petik tunggal ('), titik (.), semikolon (;), titk dua (:) atau lainnya, dapat memiliki peran yang cukup banyak sebagai pemisah kata.

•  Sebagai contoh antara “tahu, tempet dan sambal” dengan

“100,56”.


11

 Dalam

memperlakukan karakterkarakter dalam teks sangat tergantung sekali pada kontek aplikasi yang dikembangkan.  Pekerjaan tokenisasi ini akan semakin sulit jika juga harus memperhatikan struktur bahasa (grammatikal).


12

6

4/1/13

  Karakter

Nonalphanumeric

•  contoh: Yahoo!, AT&T, dsb.

  Sebuah

titik (.) biasanya untuk tanda akhir kalimat, tapi dapat juga muncul dalam singkatan, inisial orang, alamat internet •  Contoh: Sdr., S.Kom., 192.168.1.1, ukdw.ac.id

  Tanda

hypen (-) biasanya muncul untuk menggabungkan dua token yang berbeda untuk membentuk token tunggal. Tapi dapat pula ditemukan untuk menyatakan rentang nilai, kata berulang, dsb. •  Contoh: x-ray, 32-120, lari-lari. Teknik Informatika UKDW Yogyakarta

13

  Karakter

slash ( / ) sebagai pemisah file atau direktori atau url ataupun untuk menyatakan “dan atau” •  Contoh: /opt/rapidminer, www.google.com/search?

num=100&q=text+mining, Ibu/Bapak.

  URL.

  Format

nomor telepon.   Emoticon   Format angka   Frase Teknik Informatika UKDW Yogyakarta

14

7

4/1/13

  Setelah

deretan karakter telah disegmentasi ke dalam kata-kata (token), langkah berikut yang mungkin dilakukan adalah mengubah setiap token ke bentuk standard. •  Proses ini disebut menerapkan stemming dan atau

lemmatization. •  Tujuan: untuk mendapatkan bentuk dasar umum dari suatu kata.

  Contoh:

•  Am, are, is => be •  Car, cars, car's, cars' => car Teknik Informatika UKDW Yogyakarta

15

 Stemming

•  Proses heuristic yang memotong akhir kata, dan

sering juga membuang imbuhan.  Lemmatization

•  Serupa dengan stemming, hanya lebih baik

hasilnya. •  Memperhatikan kamus dan analisis morfologi. •  Menghasilkan kata dasar (lemma)  N-gram Teknik Informatika UKDW Yogyakarta

16

8

4/1/13

 Prinsip

dari ZIPF’s LAW

•  Kita menggunakan sedikit kata lebih sering dan

jarang untuk sebagian besar kata lain. •  Rata-rata 20% kata-kata berperan sebagai mayoritas kata dalam suatu teks.  Kata-kata

yang memiliki frekuensi kemunculan tinggi, dapat dibuang.


17

  Karakteristik

ciri/sifat sebuah dokumen dinyatakan oleh token atau kata-kata di dalamnya.


18

9

4/1/13

 Dalam

pembentukan features, dapat juga menerapkan pembobotan: •  TF/IDF •  Chi-Square •  Information Gain



19

20

10

4/1/13



21

22

11

4/1/13


23

 Klasifikasi

Dokumen  Information Retrieval  Pengorganisasian dan Clustering Dokumen  Information Extraction  Natural Language Processing  Text Summarization


24

12

4/1/13


25

 Analisis

cluster adalah pengorganisasian kumpulan pola ke dalam cluster (kelompok-kelompok) berdasar atas kesamaannya.  Pola-pola dalam suatu cluster akan memiliki kesamaan ciri/sifat daripada pola-pola dalam cluster yang lainnya.


26

13

4/1/13

  Clustering

bermanfaat untuk melakukan analisis pola-pola yang ada, mengelompokkan, membuat keputusan dan machine learning, termasuk data mining, document retrieval, segmentasi citra, dan klasifikasi pola.   Metodologi clustering lebih cocok digunakan untuk eksplorasi hubungan antar data untuk membuat suatu penilaian terhadap strukturnya. Teknik Informatika UKDW Yogyakarta


27

28

14

4/1/13

  Konsep

dasar dari IR adalah pengukuran kesamaan •  sebuah perbandingan antara dua dokumen,

mengukur sebearapa mirip keduanya.

  Setiap

input query yang diberikan, dapat dianggap sebagai sebuah dokumen yang akan dicocokan dengan dokumen-dokumen lain.   Pengukuran kemiripan serupa dengan metode klasifikasi yang disebut metode nearest-neighbour. Teknik Informatika UKDW Yogyakarta


29

30

15

4/1/13

  Information

Extraction bermanfaat untuk menggali struktur informasi dari sekumpulan dokumen.   Dalam menerapkan IE, perlu sekali dilakukan pembatasan domain problem.   IE sangat memerlukan NLP untuk mengetahui gramatikal dari setiap kalimat yang ada.   Sebagai contoh: •  “Indonesia dan Singapore menandatangani MoU

kerjasama dalam bidang informasi dan komunikasi.” •  KerjaSama(Indonesia, Singapore, TIK) Teknik Informatika UKDW Yogyakarta

 Dengan

31

IE, kita dapat menemukan:

•  concepts (CLASS) •  concept inheritance (SUBCLASS-OF) •  concept instantiation (INSTANCE-OF) •  properties/relations (RELATION) •  domain and range restrictions (DOMAIN/

RANGE) •  equivalence


32

16

4/1/13


33

  Web

Mining bertujuan untuk menemukan informasi atau pengetahuan dari:

•  Web hyperlink structure   menemukan halaman web terpenting   menemukan komunitas pemakai yang berbagi ketertarikan topik yang sama •  page content   Ekstraksi data/informasi dari halaman web   Integrasi dan pencocokan skema informasi beberapa web   Ekstraksi opini   Knowledge synthesis   Segmentasi halaman web dan mendeteksi noise •  usage data.   menemukan pola akses pemakai terhadap web, melalaui click stream. Teknik Informatika UKDW Yogyakarta

34

17

4/1/13

 Web

Structure Mining

•  Wrapper induction •  Structure Matching: edit distance  Web

Content Mining

•  Machine learning dan information extraction  Web

Usage Mining

•  Sequence pattern analysis


35

  jumlah

data/informasi di web sangat besar dan terus bertambah.   tipe data beragam   informasi pada web sangat beragam.   informasi-informasi di web saling terhubung.   informasi di web sangat "kotor".   web juga merupakan service.   web dinamis   web merupakan sarana komunitas sosial virtual. Teknik Informatika UKDW Yogyakarta

36

18

4/1/13

 Dengan

analisis terhadap tautan dari sekumpulan halaman web, dapat ditentukan sifat authoritative tiap web. •  PageRank •  HITS •  Atau bisa menggunakan beberapa metode

Social Network Analysis   Betweeness centrality   Closeness centrality   Degree centrality Teknik Informatika UKDW Yogyakarta

 Aggregate

37

content

•  Asosiasi informasi  Reference

structure

•  folksonomy  Algorithms

•  Prediksi, rekomendasi, klasifikasi, clustering


38

19

4/1/13

 Social

networking site  Mashups  Portals  Wikis  Media-sharing sites  Online gaming  Semantic Web



39

40

20

4/1/13



41

42

21

4/1/13


 Repositori

43

data terstruktur dari 23 juta

entitas •  Entitas dapat berupa orang, organisasi, tempat,

atau sesuatu objek.


44

22

Teknik Informatika UKDW Yogyakarta

Recommend Documents