Učíme počítače (nejen) česky: ÚFAL

Učíme počítače (nejen) česky: ÚFAL Barbora Hladká Ústav formální a aplikované lingvistiky Matematicko-fyzikální fakulta Univerzita Karlova v Praze http://ufal.mff.cuni.cz

Ústav formální a aplikované lingvistiky (ÚFAL MFF UK) se věnuje automatické komunikaci člověka s počítačem v přirozeném jazyce.

Učíme počítače (nejen) česky  Sgall Petr, Hajičová Eva, Piťha Petr. Učíme stroje česky, Panorama, 1982.

ÚFAL (MFF UK)  Dlouhá tradice Lingvistika na matfyzu

60 50

Ústav formální a aplikované lingvistiky formální lingvistika

aplikovaná lingvistika*

*Počítačová lingvistika nebo komputační lingvistika nebo počítačové zpracování přirozeného jazyka nebo jazykové technologie.



propozice sémantém

TR věta větný člen

VČR formém

séma morfém

MR morf

morfoném

MFR foném

dist. rys

FR

(Sgall, 1967)






VČR formém

data

nástroje

séma morfém

MR morf

morfoném

MFR foném

dist. rys

FR

(Sgall, 1967)






VČR formém

data

nástroje

séma morfém

MR morf

morfoném

MFR foném

text a řeč

dist. rys

FR

(Sgall, 1967)






VČR formém

data

nástroje

séma morfém

MR morf

morfoném

MFR foném

text a řeč

dist. rys

FR

(Sgall, 1967)






VČR formém

data

nástroje

séma morfém

MR morf

morfoném

MFR foném

text a řeč

dist. rys

FR

(Sgall, 1967)


Ústav formální a aplikované lingvistiky  Výuka  Magisterský a doktorský program Matematická lingvistika

 Studijní pobyty  Videonahrávky z akcí Vše na http://ufal.mff.cuni.cz


data

nástroje

Banky dat korpusy textů  Pražský závislostní korpus  Pražský anglický závislostní korpus  Pražský anglicko-český závislostní korpus  Pražský závislostní korpus mluvené češtiny  Pražský arabský závislostní korpus  Český akademický korpus  …

Banky dat slovníky  Vallex 2.6 (valenční slovník sloves)  Czech SubLex 1.0 (slovník evaluativních výrazů)  …

Banky dat Čím více dat, tím lépe.

Nástroje

Naučme počítač určovat pád, číslo a rod podstatných jmen. Kupujete motorovou pilu? Deset vychytávek pro kvalitní stroj 25. září 2012 Motorové pily vypadají na první pohled všechny téměř stejně, ne nadarmo se ale podstatně liší cenou. Jde nejen o sílu a objem motoru, ale i o kvalitu válců či robustnost provedení … (Zdroj: http://hobby.idnes.cz)

Naučme počítač určovat pád, číslo a rod podstatných jmen. Kupujete motorovou pilu(4JŽ)? Deset vychytávek(2MŽ) pro kvalitní stroj(4JM) 25. září(2JS) 2012 Motorové pily(1MŽ) vypadají na první pohled(4JM) všechny téměř stejně, ne nadarmo se ale podstatně liší cenou(7JŽ). Jde nejen o sílu(4JŽ) a objem(4JM) motoru(2JM), ale i o kvalitu(4JŽ) válců(2MM) či robustnost(4JŽ) provedení(2JS).

Naučme počítač určovat pád, číslo a rod podstatných jmen. Kupujete motorovou pilu(4JŽ)? Deset vychytávek(2MŽ) pro kvalitní stroj(4JM) 25. září(2JS) 2012 Motorové pily(1MŽ) vypadají na první pohled(4JM) všechny téměř stejně, ne nadarmo se ale podstatně liší cenou(7JŽ). Jde nejen o sílu(4JŽ) a objem(4JM) motoru(2JM), ale i o kvalitu(4JŽ) válců(2MM) či robustnost(4JŽ) provedení(2JS). anotace

Strojové učení s učitelem

Vzduchový filtr patří mezi opomíjené součásti motoru.

Kupujete motorovou pilu(4JŽ)? Deset vychytávek(2MŽ) pro kvalitní stroj(4JM)

Vzduchový filtr(1JM) patří mezi opomíjené součásti(4MF) motoru(2JM).


aplikovaná lingvistika* TR

věta větný člen

VČR formém

data

nástroje

séma morfém

MR morf

morfoném

MFR foném

text a řeč

dist. rys

(Sgall, 1967)


Klasifikace lingvistických nástrojů  Správa dat

 Automatické zpracování dat

Klasifikace lingvistických nástrojů  Automatické  Správa dat zpracování dat  Vnitřní reprezentace dat  Anotace/úprava dat (editory, online hry)  Prohlížení dat (prohlížeče)

Klasifikace lingvistických nástrojů  Automatické  Správa dat zpracování dat  Vnitřní reprezentace dat základní procedury  Anotace/úprava dat (editory, online hry) pokročilé  Prohlížení dat (prohlížeče) procedury aplikační systémy

Nástroje z ÚFAL  Nástroje z projektů, na jejichž řešení se ÚFAL podílí/podílel.  Studentské práce a projekty, které vedou/vedli lidé z ÚFALu.

Správa dat - anotační editory  např. TrEd

Správa dat - anotační editory  např. Čapek

Základní procedury segmentace

tvarosloví

syntax

Základní procedury segmentace Hobby pila Oleo-Mac s výkonem 1,8 kW, objemem motoru 39 ccm a lištou 41 cm má boční napínání řetězu. Vzduchový filtr patří mezi opomíjené součásti motoru.

tvarosloví

syntax

Základní procedury segmentace Hobby pila Oleo-Mac s výkonem 1,8 kW, objemem motoru 39 ccm a lištou 41 cm má boční napínání řetězu. Vzduchový filtr patří mezi opomíjené součásti motoru.

tvarosloví

syntax

Základní procedury segmentace Hobby pila Oleo-Mac s výkonem 1,8 kW , objemem motoru 39 ccm a lištou 41 cm má boční napínání řetězu . Vzduchový filtr patří mezi opomíjené součásti motoru .

tvarosloví

syntax


tvarosloví

Hobby pila Oleo-Mac s výkonem 1,8 kW , objemem motoru 39 ccm a lištou 41 cm má boční napínání řetězu . Vzduchový filtr patří mezi opomíjené součásti motoru .

Hobby pila Oleo-Mac s výkonem 1,8 kW , objemem motoru 39 ccm a lištou 41 cm má boční napínání řetězu . Vzduchový filtr patří mezi opomíjené součásti motoru .

syntax

Základní procedury segmentace Hobby pila Oleo-Mac s výkonem 1,8 kW , objemem motoru 39 ccm a lištou 41 cm má boční napínání řetězu . Vzduchový filtr patří mezi opomíjené součásti motoru .

tvarosloví

syntax patříPred

Hobby pila Oleo-Mac filtrSubj s výkonem 1,8 kW , meziAuxP objemem motoru 39 ccm a lištou 41 cm má boční napínání vzduchovýAtr součástiObj řetězu . Vzduchový filtr patří mezi opomíjenéAtr motoruAtr opomíjené součásti motoru .


tvarosloví

syntax

Demo pro češtinu  MorphoDita http://ufal.mff.cuni.cz/morphodita/demo

 Treex::Web https://lindat.mff.cuni.cz/services/treex-web/run

Pokročilé procedury  např. určování koreference Vzduchový filtr patří mezi opomíjené součásti motoru. Je ideální, pokud se k němu můžete dostat bez nářadí a pokud ho lze jednoduše vyčistit vymytím.



 např. detekce a klasifikace jmenných entit Od loňského září bylo v kinech uvedeno 19 dokumentů. Vedle staršího snímku Matěje Mináče Nickyho rodina patřilyk nejnavštěvovanějším Pod sluncem tma Martina Marečka (11 487diváků), Soukromý vesmír Heleny Třeštíkové (6 634 diváků) a portrét olympioničky Věry Čáslavské Věra 68 od Olgy Sommerové (6 305 diváků). (Zdroj:http://kultura.idnes.cz)


 např. detekce a klasifikace jmenných entit Vedle staršího snímku Matěje Mináče Nickyho rodina patřilyk nejnavštěvovanějším Pod sluncem tma Martina Marečka (11487diváků), Soukromý vesmír Heleny Třeštíkové (6 634 diváků) a portrét olympioničky Věry Čáslavské Věra 68 od Olgy Sommerové (6 305 diváků). Kulturní artefakt, příjmení, křestní jméno

Pokročilé procedury  např. detekce a klasifikace jmenných entit

Demo pro češtinu  NameTag http://ufal.mff.cuni.cz/nametag  Czech Named Entity Corpus

Aplikační systémy  např. strojový překlad  TectoMT  Moses  2013  překlad angličtina ->čeština TectoMT + Moses + Depfix* beat Google Translator!  Dle automatického i ručního hodnocení * Pravidlový systém pro oprav chyb v překladu.

Aplikační procedury  např. dialogový systém

(Zdroj:http://www.companions-project.org/ )

To je můj manžel Standa.

Pěkný obrázek. Moc mu to sluší...

(Zdroj: Hajič, Ircing, 2011)

Aplikační procedury  např. dialogový systém

Nástroje technicky  Napříč operačními systémy  Napříč programovacími jazyky  Nástroje samostatně, viz repozitář  https://ufal-point.mff.cuni.cz/xmlui/

 Nástroje společně, viz Treex  http://ufal.mff.cuni.cz/treex

 platforma pro spouštění nástrojů  webového rozhraní Treex::Web

Nástroje i data ošetřené licencí

(Nejen) česky  jazykově nezávislé nástroje

 jazykově závislá data

Kupujete motorovou pilu(4JŽ)? Deset vychytávek(2MŽ) pro kvalitní stroj(4JM) 25. září(2JS) 2012 Motorové pily(1MŽ) vypadají na první pohled(4JM) všechny téměř stejně, ne nadarmo se ale podstatně liší cenou(7JŽ). Jde nejen o sílu(4JŽ) a objem(4JM) motoru(2JM), ale i o kvalitu(4JŽ) válců(2MM) či robustnost(4JŽ) provedení(2JS).

Former Wimbledon champion (J) Petra (J) Kvitova became the first big name seed(J) to exit the star-studded WTA tournament(J) in Tokyo(J) …

HamleDT

O čem        

Představení ÚFAL  Banky dat  Klasifikace lingvistických nástrojů  Nástroje z ÚFAL  (Nejen) česky  Motivační projekty Odkazy Závěr

Motivační projekty: akademické  Novelizátor zákonů, bakalářská práce, David Mareček, (vedoucí Daniel Zeman), 2006.  Úplná znění zákonů z novel zákonů.  Novely: omezený (nízký) počet větných konstrukcí, které se opakují. Přesto mohou vzniknout velmi rozmanité věty.

Motivační projekty: akademické  Predikce vývoje ceny ropy na základě textových zpravodajských informací, bakalářská práce, Jan Skalický, (vedoucí Ondřej Bojar), 2010.  Předpovídat ceny ropy výhradně z článků, které se jí věnují.

Motivační projekty: akademické  Systém českých číslovek a jejich automatické rozpoznání v textu, diplomová práce, Jan Bureš, (vedoucí Jaroslava Hlaváčová), 2007.  Systematické třídění českých číslovek a číselných výrazů.  Detekce číslovek v textu a jejich klasifikace dle bodu výše.

Motivační projekty: akademické  Machine learning for Android, bakalářská práce, Juraj Figura (vedoucí Ondřej Bojar), 2011.  Knihovna strojového učení (dva algoritmy).  Aplikace pro výběr kulturních akcí, které uživatele zajímají.

Motivační projekty: akademické  Sledování témat v elektronickém zpravodajství, Karel Bílek (vedoucí Ondřej Bojar), 2011.  Definice témat  Jejich automatická detekce (strojové učení)  Jak to dělá člověk?

 Měřitelnost kvality detekce

Motivační projekty: akademické  Interface k online internetovým přenosům v přirozeném jazyce , diplomová práce, Jan Macošek, (vedoucí Jan Hajič), 2007.  Hledání živých textových internetových přenosů  Jejich převod na přenosy mluvené, které předává elektronický králík, společnice Petra ještě neexistovala  Ovládání systému hlasem

Motivační projekty: akademické  Hlasové ovládání televize, bakalářská práce, Patrik Černý, (vedoucí Pavel Straňák), 2012.  Hlasové ovládání televize pro jedince se sniženou hybností a s poruchou řeči

Motivační projekty: akademické  Native Language Identification  Rozpoznání rodného jazyka autora textu  NLI 2013 Shared Task (Hladká, Holub, Kríž, 2013)

Motivační projekty: akademické s přesahem do průmyslu  Sentiment analysis, Kateřina Veselovská a kol.  Ruční kategorizace článků ze zdrojů Aktualne.cz, Mall.cz, CSFD.cz, následně učení a automatická kategorizace  Rozšíření analýzy sentimentu pro IBM Content Analytics  Spolupráce se společnostmi Buzzboot, CaptchaWorks, Wundermann, Zoom International

Motivační projekty: akademické s přesahem do průmyslu  Překladové minislovníky jazykových učebnic nakladatelství Akropolis, Zdeněk Žabokrtský. 

Autor konkrétní lekce v textu označí slova, která považuje za podstatná/specifická/nová a systém automaticky 1. pro každé slovo vyrobí slovníkový tvar (v zásadě lemma), 2. pokud je to sloveso, přidá informaci o vidu, 3. pokud je to sloveso a má konjugaci se změnou v kmeni, vyrobí i tvar 1os.sg.pres (číst-čtu), 4. pokud je to substantivum, přidá informaci o rodu, 5. vyloučí hesla, která se už vyskytla v předcházejících lekcích, a ze zbývajících hesel předpřipraví pro každou stránku učebnice abecedně setříděný minislovníček.

Motivační projekty: akademické s přesahem do průmyslu  Inteligentní knihovna (INTLIB)  Extrakce entit a vztahů mezi nimi  Reprezentace ve formě Propojených otevřených dat (Linked Open Data)

INTLIB

INTLIB

Odkazy  Bojar Ondřej. Strojový překlad, Vesmír 91, str. 488-490, 2012.  Bojar Ondřej. Čeština a strojový překlad: Strojový překlad našincům, našinci strojovému překladu. Studies in Computational and Theoretical Linguistics. 2012. http://ufal.mff.cuni.cz/books/2012-bojar  Čapek. http://ufal.mff.cuni.cz/capek/.  Hajič Jan, Hajičová Eva. Some of our friends are statisticians. Ve sborníku Text, Speech and Dialogue Conference (editoři: Václav Matoušek a Pavel Mautner), Plzeň, str. 2-10, 2007.  Hajič Jan, Hladká Barbora, Panevová Jarmila. Lingvistika na Matematicko-fyzikální fakultě?, Vesmír 91, str. 523526, 2012.

Odkazy  Hladká Barbora, Martin Holub, Vincent Kríž. Feature Engineering in the NLI Shared Task 2013: Charles University Submission Report. In: Proceedings of the Eighth Workshop on Innovative Use of NLP for Building Educational Applications, Atlanta, Georgia, USA, pp. 232241, 2013.  Jelinek Fred. Some of my friends are linguists. (http://www.lrec-conf.org/lrec2004/doc/jelinek.pdf), 2004.  Moses. http://www.statmt.org/moses/  Panevová a kol. Čeština v digitálním věku/The Czech Language in the Digital Age, Série Bílé knihy/White Paper Series, Springer, 2012.

Odkazy  Rosa Rudolf. Depfix. http://ufal.mff.cuni.cz/depfix/  Sgall Petr. Generativní popis jazyka a česká deklinace. Praha:Academia, 1967.  TrEd. http://ufal.mff.cuni.cz/tred

Závěr     

Umíme lingvistiku. Umíme strojové učení. Máme data. Máme software. Máme zkušenosti. Ještě něco …

… neumíme. Zatím?

Učíme počítače (nejen) česky: ÚFAL

Recommend Documents