Dnešní téma
Vývojové trendy – 1
Vývojové trendy ve zpracování informací a znalostí
Hnacím motorem vývoje v současnosti není výzkumná sféra, ale sféra byznysu (obchod, bankovnictví, pojišťovnictví, telekomunikace), která má k dispozici velké objemy dat a zadává požadavky na vývoj práce s nimi (+ financuje nákladné p projekty). j y)
Znalostní management Využití umělé inteligence Sémantický web Zpracování přirozeného jazyka
digitalizace, elektronizace
VOŠIS – ZIZ 12
1
přechod k elektronickým dokumentům computer mediated communication e-business, e-learning, e-science, e-health… VOŠIS – ZIZ 12
2
Rekapitulace č. 1
Vývojové trendy – 2
znalosti – témata
konvergence médií (multimedialita, MashUp) technologií (mobilní telefon?) aktivit (informačních, kulturních, „volnočasových“…)
decentralizace
distribuované zdroje individualizace přístupu k informacím
kolaborativní přístup
k zpracování a k vytváření informací (Web 2.0) Osobnost roku 2006 – „Vy“
od dat k informacím, od informací k znalostem VOŠIS – ZIZ 12
3
VOŠIS – ZIZ 12
4
1
Vývojové trendy ve zpracování informací a znalostí
Vývojové trendy – hrozby? industrializace, specializace (informační
průmysl), komercionalizace (informační kapitalismus), koncentrace, globalizace
Znalostní management Využití umělé inteligence Sémantický web Zpracování přirozeného jazyka
slábnutí veřejných služeb, nejasná informační
politika
nadvláda (americké) angličtiny, ohrožení
"nepočítačových" jazyků
Znalosti – příspěvky
digital divide, information rich – information
poor, technologický apartheid VOŠIS – ZIZ 12
5
Rekapitulace č. 2
6
Rekapitulace č. 3
Znalost (poznatek) je, když víme:
Informační management Správa informací v podniku
Co to je? Co to znamená?
řešené problémy: využití informací v rozhodovacích a řídících procesech p integrace informačních zdrojů a aktivit do podnikových procesů návrh, implementace a provoz podnikových informačních systémů a služeb
deklarativní JJak k to probíhá? bíhá? Jak J k to ffunguje? j ? JJak k se to dělá? procedurální VOŠIS – ZIZ 12
VOŠIS – ZIZ 12
7
VOŠIS – ZIZ 12
8
2
Rekapitulace č. 4
Znalostní management knowledge management, KM
Explicitní znalost
Správa znalostí v podniku
Logicky zformulovaná a abstraktně vyjádřená znalost, zaznamenaná v určitém jazyce a dostupná přímo v nějakém formálním zdroji (dokument, záznam v databázi). sdělitelná deklarativní – znalost vyjadřuje nějaké tvrzení (např. "Hlavní město ČR je Praha") u člověka: čl ěk objektivní, bj kti í vědomá ěd á
řešené problémy: to samé jako IM (informace znalosti) + převod implicitních znalostí na explicitní reprezentace znalostí (převod znalostí na informace) sdílení a transfer znalostí VOŠIS – ZIZ 12
způsob vyjádření: a) formální – jazyk matematiky nebo logiky b) neformální – přirozený jazyk, náčrtek, obrázek… 9
10
Reprezentace znalostí
Implicitní znalost
knowledge representation
Znalost Znalost, jež není vyjádřená a dostupná přímo a je zahrnuta v jednání, způsobu řešení úloh, souboru dat apod. procedurální – znalost vyjadřuje nějaké chování (např. jde-li z vody v hrnci pára, nestrkáme do ní ruce) u člověka: subjektivní, subjektivní podvědomá podvědomá, tacitní (ta, (ta již používáme, ale neumíme popsat a vysvětlit), know-how v počítači: znalosti rozptýlené v jednotlivých programových instrukcích, které se aplikují podle předem stanoveného algoritmu VOŠIS – ZIZ 12
VOŠIS – ZIZ 12
11
p předmět zkoumání: metody a techniky vyjádření znalostí a jejich vztahů především pro využití v bázích znalostí expertních systémů a) procedurální vyjádření yj znalostí ve formě p pravidel b) neprocedurální či deklarativní vyjádření znalostí ve formě poznatků (ontologie) nejčastěji používané typy jazyků: predikátová logika 1. řádu, produkční systémy, sémantické (asociativní) sítě a VOŠIS – ZIZ 12 12 rámce
3
Vývojové trendy ve zpracování informací a znalostí
„Počítač Počítač není inteligentní. inteligentní Jen si to o sobě myslí myslí.“ Anonym
Znalostní management Využití umělé inteligence Sémantický web Zpracování přirozeného jazyka
VOŠIS – ZIZ 12
Umělá inteligence
artificial intelligence, AI
1) Vlastnost uměle vytvořených systémů, vykazující analogické rysy jako lidská inteligence.
13
2) Mezioborová vědní disciplína na pomezí kognitivních věd, kybernetiky a počítačové vědy, která zkoumá a modeluje inteligenci s cílem vyvinout software a hardware, který bude při řešení úloh používat postupy považované za projev lidské inteligence.
Co zkoumá obor umělá inteligence?
Co je to inteligence? The reason that computers have found such widespread use is that they perform well in areas where humans perform poorly (and vice versa). Chisnall, David. Is Computer Science Dying? InformIT. 9. 11. 2007
Manželka posílá programátora nakoupit. Kup deset rohlíků a když budou mít vejce, kup jich 30. Programátor přijde do obchodu a povídá: „Máte vejce?“ „Ano, máme“ odpoví prodavačka. „30 rohlíků, prosím.“ VOŠIS – ZIZ 12
14
15
obecné řešení problémů plánování reprezentace znalostí adaptace d t a strojové t j é učení č í rozpoznávání
VOŠIS – ZIZ 12
16
4
MAŘÍK, Vladimír, LAŽANSKÝ, Jiří a ŠTĚPÁNKOVÁ, Olga Umělá inteligence 1. Praha : Academia, 1993. 264 s. Umělá inteligence 2. Praha : Academia, 1997. 373 s. Umělá inteligence 3. Praha : Academia, 2001. 328 s. Umělá inteligence 4. Praha : Academia, 2003. 475 s. Umělá U ělá inteligence i t li 5. 5 Praha P h : Academia, A d i 2007. 2007 544 s.
VOŠIS –- ZIZ VOŠIS ZIZ 16 12
17
Kde se používá umělá inteligence? rozpoznávání, počítačové vidění robotika expertní systémy neuronové sítě analýza dat a znalostí (data mining, mining KDD, KDD řízení, optimalizace, předpovědi počasí, marketing…) zpracování přirozeného jazyka
VOŠIS – ZIZ 12
18
Robot je…
Rozpoznávání – příklad
…ale i počítačový program též agent (inteligentní agent, intelligent agent) p program, g který ý shromažďuje informace nebo provádí jiné služby bez přímé účasti uživatele VOŠIS – ZIZ 12
19
VOŠIS – ZIZ 12
20
5
Expertní systém Počítačová P čít č á aplikace lik simulující i l jí í poznávací á í a rozhodovací h d í činnost experta při řešení složitých úloh s cílem dosáhnout ve zvolené problémové oblasti kvality rozhodování na úrovni experta. základní součásti báze znalostí báze dat (faktů) k řešeným případům řídící mechanismus (inferenční neboli odvozovací stroj, rozhodovací jádro) program pro práci s bázemi znalostí a dat využívající technik umělé inteligence modul pro komunikaci s uživatelem, vysvětlovací modul VOŠIS – ZIZ 12
UŽIVATEL
EXT ER N Í D AT A A EXT ER N Í PR O G R A M Y
KOMUNIKAČNÍ MODUL
MODUL EXTERNÍCH ZDRO J Ů
BÁZE FAKTŮ
EXPERTNÍ SYSTÉM
GENERÁTOR VÝSLEDKŮ VOŠIS –- ZIZ 14 12
Báze znalostí
22
Typy expertních systémů
knowledge base, knowledgebase
Procesy tvorby báze znalostí: získávání znalostí lb vhodného volba h d éh umělého ěléh jjazyka k pro jjejich ji h zakódování kód á í proces reprezentace znalostí Znalosti se přebírají od experta automaticky odvozují z databází 23 nepřímo odvozují z jiných znalostí
BÁZE ZNALOSTÍ
VYSVĚTLOVACÍ M ODUL
21
Součást expertního systému, systému v níž jsou obsaženy explicitně vyjádřené speciální znalosti, představující obecný systém pravidel, využitelných pro řešení zvoleného problému
INFERENČNÍ MODUL
P R O S T Ř E D Í
a)
podle charakteru řešených úloh diagnostické plánovací hybridní
b) podle způsobu reprezentace znalostí v bázi znalostí způsobu odvozování a práce s neurčitou znalostí, informací systémy založené na pravidlech na rámcích na logickém programování VOŠIS – ZIZ 12 24
6
Expertní systém založený na pravidlech rule-based expert system, pravidlový, produkční systém
frame-based expert systém, rámcový systém aplikace souboru rámců (objektů, scénářů, ontologií)
aplikace predikátové logiky 1. řádu nebo tzv. produkčních pravidel
rámce: datové struktury, v jejichž položkách jsou společně l č ě uloženy l ž všechny š h znalosti l i o daném d é konkrétním objektu nebo situaci (obsahují jejich model či prototyp) mohou být navzájem propojeny asociativními a hierarchickými vazbami
pravidla jsou formalizována do tvaru "podmínka" (jestliže – if), "závěr" (pak – then) "s váhou" (with), přičemž váha je subjektivní mírou důvěry experta v platnost daného pravidla (tvrzení) VOŠIS – ZIZ 12
25
VOŠIS – ZIZ 12
26
Neuronová síť
Ontologie
neural network
1. Filozofická disciplína zkoumající obecné principy bytí. 2. Jazykové, metodické a softwarové nástroje pro explicitní pojmovou reprezentaci skutečnosti, případně samotný výsledek této činnosti. Využití: znalostní management pojmové vyhledávání informací VOŠIS – ZIZ 12
Expertní systém založený na rámcích
27
P Počítačová čí č á aplikace lik využívající ží jí í k řřešení š í úl úloh h model d l funkcí f k í biologického neuronu (tzv. procesor). Procesor má více vstupů, které dokáže klasifikovat a na jejich základě generovat výstup. Procesory jsou navzájem propojeny do sítí ohodnocenými vazbami, což umožňuje g ap paralelní zpracování p složitých ý úloh. nealgoritmické Činnost sítě je založena na procesu učení, tj. adaptace na konkrétní úlohu za pomoci vnějšího činitele (síť s učitelem) nebo na základě stimulů (samoorganizující se síť). VOŠIS – ZIZ 12
28
7
Neuronová síť
Knowledge discovery in databases, KDD
neural network
Technika automatizovaného získávání implicitních znalostí z rozsáhlých databází a datových skladů pro využití v rozhodovacích procesech nebo v expertním systému.
Neuron
y Řešené úlohy deskripční neboli popisné (nalézání struktur a vztahů) klasifikační/predikční (umožňují automatizovanou klasifikaci nových případů) technologické jádro: data mining VOŠIS – ZIZ 12
29
Technologie vyhledávání vyhledávání, modelování a prezentace předem neznámých informací, příp. znalostí a vztahů mezi daty v rozsáhlých databázích. Analýzy se odvozují přímo z obsahu dat, nikoliv na základě hypotéz či dotazů uživatele.
VOŠIS – ZIZ 12
30
Vývojové trendy ve zpracování informací a znalostí
Data mining (dolování dat)
používané techniky: umělá inteligence (neuronové sítě, rozpoznávání, samoučící se algoritmy) statistické a matematické modelování (klasifikační pravidla nebo stromy, regrese, shluková analýza) OLAP
VOŠIS – ZIZ 12
Znalostní management Využití umělé inteligence Sémantický web Zpracování přirozeného jazyka
31
VOŠIS – ZIZ 12
32
8
Cíl – označený prostor Sémantický web 3 stadia standardizace (unifikace) WWW: protokol http HTML, HTML URI sémantika
VOŠIS – ZIZ 12
33
Současnost WWW
VOŠIS – ZIZ 12
34
Příklad – „nesémantická data“
Ontologie v znalostním managementu
„web of documents“
<em>Jana Dobrovská
Projekt Xanadu <em>Pavel Souček
narativní dokumenty sémanticky nestrukturovaná, nestrukturovaná kompaktní data, jimž rozumí jen lidé
Projekt MyLifeBits 
Projekt Wikipedia <em>Věra Janková
Karel Novák
VOŠIS – ZIZ 12
35
VOŠIS – ZIZ 12
36
9
Příklad – „sémantická data“ srozumitelná jen lidem
Příklad – „sémantická data“ srozumitelná jen lidem
> Ontologie v znalostním managementu <student/ka>Jana Dobrovská Projekt Xanadu <student/ka>Pavel Souček Projekt MyLifeBits Projekt Wikipedia <student/ka>Věra Janková <student/ka>Karel Novák VOŠIS – ZIZ 12
37
Problém: sémantická interoperabilita
SELECT * FROM Studie WHERE Volné_zadané = Volné VOŠIS – ZIZ 12
38
Sémantický web
Jak daleko je… je ?
„web of data“ transakční dokumenty sémanticky strukturovaná data, jejichž obsahu rozumí počítačové programy (software agent) 39
VOŠIS – ZIZ 12
40
10
Standardy sémantického webu
RDF Resource Description Framework formát metadat OWL Web Ontology l Language jazyk pro vyjádření obsahu metadat
VOŠIS – ZIZ 12
41
Vývojové trendy ve zpracování informací a znalostí Znalostní management Využití umělé inteligence Sémantický web Zpracování přirozeného jazyka
VOŠIS – ZIZ 12
42
Problémy přirozeného jazyka
NLP – natural language processing Cíl: Tvorba počítačových systémů, jež používají jako své vstupy a výstupy ý t přirozený ři ý jjazyk k
VOŠIS – ZIZ 12
43
VOŠIS – ZIZ 12
44
11
Problémy počítačů s přirozeným jazykem
Vyhledávání v textových zdrojích a) formulací dotazu b) listováním v databázi (browsing, navigace)
VOŠIS – ZIZ 12
45
Typy přístupových bodů k obsaženým informacím textové řetězce obsažené v textech dokumentů metadata (tzv. profily dokumentů s bibliografickými údaji) hypertextové odkazy VOŠIS – ZIZ 12
Vyhledávání s metadaty a bez metadat
Vztah přirozený jazyk – selekční jazyk – informační zdroj Informační potřeba
„překlad“
Dotaz
Informační zdroj
vyjádření Dotaz – přirozený jazyk
KW1
KW2
KW3
Obsah (abstrakt, vyjádření metadata) inf. inf zdroje – přirozený jazyk Selekční jazyk
46
W1
W2
W3
„překlad“ dokument
dokument
zdroj šumu VOŠIS – ZIZ 12
47
VOŠIS – ZIZ 12
48
12
Vyhledávání s metadaty – pro a proti
Vyhledávání bez metadat – pro a proti
+ vyřešená ř š á synonymie i a homonymie h i + nezávislost na slovníku autora dokumentu (v metadatech je možné popsat obsah i slovy, jež nejsou v dokumentu) + k dispozici je model (abstrakce) obsahu, zbavený ý detailů – –
vyžaduje intelektuálně předzpracovat dokumenty i dotazy v bodech zpracování může docházet k šumu VOŠIS – ZIZ 12
49
Jak dostat to nejlepší z obou světů? vyhledávání bez metadat: Místo porovnávání stručného textu dotazu s rozsáhlým textem dokumentu – statistické porovnávání (celého) textu relevantního dokumentu s texty v prohledávaném souboru ((např. p při p detekci spamu) p ) vyhledávání s metadaty: Místo intelektuálního vytváření metadat – automatické generování metadat, automatické indexování VOŠIS – ZIZ 12 51
+ dokumenty ani dotazy není třeba předem intelektuálně zpracovat + ubývá bodů zpracování (tj. zdrojů šumu) – –
závislost na slovníku autora dokumentu problémy s přirozeným jazykem (synonymie, homonymie, vágnost) VOŠIS – ZIZ 12
50
Vyhledávání s využitím přirozeného jazyka 1. „hrubá síla“ (brute ( force)) porovnávání textových řetězců 2. lingvistické nástroje lematizátor, derivátor, slovníky synonym (selekční jazyk je používán programem, programem nikoli uživatelem) 3. využití umělé inteligence NLP – natural language processing VOŠIS – ZIZ 12
52
13
Přístupy umělé inteligence k zpracování přirozeného jazyka 1. lingvistický lingvistické modely gramatiky, morfologie, fonologie a „lidského přístupu“ ke zpracování jazykových sdělení
2. statistický statistická analýza vzorků jazyka, odhalující jejich strukturu a vzorce (patterns), jež jsou základem porozumění (např. bayesovské sítě) VOŠIS – ZIZ 12
53
Tradeoff – vždy něco za něco: za pohodlí při vyhledávání z fulltextových databází se platí pracnou přípravou slovníků a indexů za „přirozenost“ a bohatou sémantiku pojmových modelů se platí nízkou mírou standardizace za netextová data se platí velkou spotřebou paměťových médií a značnými nároky na výkon hardware a problematickými možnostmi vyhledávání za možnost odvodit nové informace z databází (umělá inteligence) se platí obtížností návrhu takového systému VOŠIS – ZIZ 12
54
14
