Západočeská univerzita v Plzni Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky. Automatická sumarizace

Za´padoˇceska´ univerzita v Plzni Fakulta aplikovanyćh vˇed Katedra informatiky a vy´poˇcetn´ı techniky

Diplomov´ a pr´ ace Automatick´ a sumarizace n´ azor˚ u

Plzeˇ n 2014

Bc. Petr Zápotock´ y

Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem diplomovou práci vypracoval samostatnˇe a v´ yhradnˇe s pouˇzit´ım citovan´ ych pramen˚ u. V Plzni dne 14. kvˇetna 2014 Bc. Petr Zápotock´ y

Abstract This work is focused on usage and development of automatic methods for opinion summarisation. Opinion summarisation could be used as a helpful tool for processing larger quantities of input data from electronic media. The first part of this work covers theoretical knowledge, including summarisation algorithms.The second part is an implementation and experimentation with automatic opinion summarisation. At the end, the reader should be able to construct own software for automatic opinion summarisation.

Abstrakt Tato práce je zamˇeˇrena na pouˇzit´ı a v´ yvoj automatické sumarizace názor˚ u. Sumarizace názor˚ u m˚ uˇze b´ yt pouˇzita jako pomocn´ y nástroj pro zpracován´ı velkého mnoˇzstv´ı vstupn´ıch dat z elektronick´ ych médi´ı. Prvn´ı ˇca´st této práce je zamˇeˇrena na teoretické znalosti zahrnuj´ıc´ı algoritmy sumarizace. Druhá ˇcást obsahuje implementaci a experimentáln´ı ˇca´st automatické sumarizace názor˚ u. Po pˇreˇcten´ı by mˇel b´ yt ˇctenáˇr schopen naimplementovat vlastn´ı software pro automatickou sumarizaci názor˚ u.

Obsah ´ 1 Uvod 1.1 Zdroje pro automatickou sumarizaci . . . . . . . . . . . . . . .

1 1

2 Pˇ redzpracov´ an´ı textu 2.1 Vlastnosti ˇceského jazyka . . . 2.2 Základn´ı vlastnosti pˇr´ıspˇevk˚ u 2.3 Stopwords . . . . . . . . . . . 2.4 Lematizace . . . . . . . . . . 2.5 POS tagging . . . . . . . . . . 2.6 N-Gramy . . . . . . . . . . .

. . . . . .

4 4 5 6 6 6 7

. . . . . . .

8 8 9 10 10 10 12 13

. . . . . . . . . .

15 15 15 16 16 17 18 18 19 21 22

. . . . . .

. . . . . .

. . . . . .

. . . . . .

. . . . . .

3 Anal´ yza n´ azor˚ u 3.1 Slovn´ıkové metody . . . . . . . . . . . 3.1.1 Slovn´ıky . . . . . . . . . . . . . 3.1.2 Negace . . . . . . . . . . . . . . 3.2 Algoritmy strojového uˇcen´ı . . . . . . . 3.2.1 Support Vector Machines . . . . 3.2.2 Naive Bayes . . . . . . . . . . . 3.2.3 Modelován´ı maximáln´ı entropi´ı

. . . . . .

. . . . . . .

. . . . . .

. . . . . . .

. . . . . .

. . . . . . .

. . . . . .

. . . . . . .

. . . . . .

. . . . . . .

4 Automatick´ a sumarizace 4.1 Metody sumarizace . . . . . . . . . . . . . . . . 4.1.1 Pr˚ ukopnické metody . . . . . . . . . . . 4.1.2 Statistické metody . . . . . . . . . . . . 4.1.3 Metody zaloˇzené na textovém propojen´ı 4.1.4 Aspektovˇe ˇr´ızená sumarizace . . . . . . . ˇ 4.1.5 Casov´ a anal´ yza . . . . . . . . . . . . . . 4.1.6 Kompresn´ı a parafrázové techniky . . . . 4.1.7 Sumarizace zaloˇzená na LSA . . . . . . . 4.2 Sumarizace názor˚ u . . . . . . . . . . . . . . . . 4.2.1 Data . . . . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . .

. . . . . . . . . .

. . . . . .

. . . . . . .

. . . . . . . . . .

OBSAH

OBSAH 4.2.2 4.2.3 4.2.4

Základn´ı anal´ yza názor˚ u a sumarizace . . . . . Sumarizace zaloˇzená na intenzitˇe názoru . . . . Sumarizace zaloˇzená na tématu anal´ yzy názor˚ u mantick´ ych informac´ı . . . . . . . . . . . . . . .

5 Sumariz´ ator n´ azor˚ u na Facebooku 5.1 Architektura . . . . . . . . . . . . . . . . . . . 5.2 Implementace . . . . . . . . . . . . . . . . . . 5.2.1 Implementace anal´ yzy sentimentu . . . 5.2.2 Implementace automatické sumarizace 5.2.3 Implementace rozhran´ı pro Facebook . 5.3 Testován´ı aplikace . . . . . . . . . . . . . . . . 5.3.1 Nokia . . . . . . . . . . . . . . . . . . 5.3.2 iDnes.cz . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

6 Experiment 6.1 Z´ıskán´ı datasetu . . . . . . . . . . . . . . . . . . . . 6.1.1 Formát dat . . . . . . . . . . . . . . . . . . 6.2 Testován´ı . . . . . . . . . . . . . . . . . . . . . . . 6.2.1 Manuáln´ı sumarizace . . . . . . . . . . . . . 6.2.2 Automatická sumarizace . . . . . . . . . . . 6.3 V´ ysledky . . . . . . . . . . . . . . . . . . . . . . . . 6.3.1 Manuáln´ı v´ ybˇer subjektivn´ıch pˇr´ıspˇevk˚ u . . 6.3.2 Automatick´ y v´ ybˇer subjektivn´ıch pˇr´ıspˇevk˚ u 6.3.3 Srovnán´ı automatické sumarizace . . . . . .

. . . . . . . .

. . . . . . . . .

. . . . . . . .

. . . . . . . . .

. . a .

. . . 22 . . . 23 sé. . . 23

. . . . . . . .

. . . . . . . .

25 25 25 25 28 29 31 31 34

. . . . . . . . .

37 37 38 39 39 40 41 41 45 46

. . . . . . . . .

. . . . . . . .

. . . . . . . . .

. . . . . . . .

. . . . . . . . .

7 Z´ avˇ er 50 7.1 Vylepˇsen´ı v´ ysledk˚ u sumarizace . . . . . . . . . . . . . . . . . . 50 A Uˇ zivatelsk´ a dokumentace

56

´ 1 Uvod V dneˇsn´ı technologicky vyspˇelé dobˇe zamˇeˇrené z hlediska médi´ı zejména na jejich elektronickou podobu je ˇc´ım dál ˇcastˇejˇs´ı potˇreba pracovat s textem na vyˇsˇs´ı u ´rovni. Nekonˇc´ıme tedy jen u pouhého ˇcten´ı, ale napˇr´ıklad z hlediska efektivity potˇrebujeme v textu vyhledávat souvislosti, tˇr´ıdit d˚ uleˇzité informace nebo vyhodnocovat struˇcné závˇery. Do tohoto odvˇetv´ı také v posledn´ıch pár letech velice d˚ uraznˇe promlouvaj´ı sociáln´ı s´ıtˇe, z jejichˇz dat se dá vypozorovat opravdu velké mnoˇzstv´ı d˚ uleˇzit´ ych informac´ı. S takov´ ymi daty tedy m˚ uˇzeme nakládat opravdu mnoha zp˚ usoby a m˚ uˇzeme je vyuˇz´ıvat za r˚ uzn´ ym u ´ˇcelem. Tato práce je vˇsak zamˇeˇrená principiálnˇe na sumarizaci názor˚ u. Znamená to, ˇze data z v´ yˇse zm´ınˇen´ ych zdroj˚ u jsou zpracovávána tak, abychom jednoduch´ ym zp˚ usobem zjistili hlavn´ı myˇslenky a názory. Standardnˇe byste museli fyzicky proˇc´ıst veˇskerá zdrojová data tak, abyste vyvodili vlastn´ı závˇery. To vˇsak m˚ uˇze b´ yt u rozsáhl´ ych dat opravdu nároˇcná metoda. Tato práce je tak zamˇeˇrena na zp˚ usob, jak´ ym tuto sumarizaci m˚ uˇzeme provádˇet automaticky za pouˇzit´ı speciáln´ıch algoritm˚ u. Druh´ ym c´ılem této práce je implementace automatického sumarizátoru s následn´ ym testován´ım, experimentován´ım a samozˇrejmˇe anal´ yzou dosaˇzen´ ych v´ ysledk˚ u, porovnáván´ım s reálnˇe vytvoˇren´ ymi závˇery. V tomto pˇr´ıpadˇe je automatick´ y sumarizátor názor˚ u zamˇeˇren na zpracován´ı zdrojov´ ych dat ze sociáln´ı s´ıtˇe Facebook. Nen´ı vˇsak problém upravit software tak, aby byl schopen analyzovat data z jin´ ych sociáln´ıch s´ıt´ı nebo elektronick´ ych médi´ı. Po pˇreˇcten´ı této práce by mˇel m´ıt ˇctenáˇr pˇrehled o automatické sumarizaci názor˚ u, jej´ım vyuˇzit´ı a také o jej´ı efektivnosti v daném algoritmickém zpracován´ı. Dále by mˇel b´ yt schopen upravit sumarizátor pro anal´ yzu dat z jin´ ych zdroj˚ u a vylepˇsovat celkovou efektivnost algoritmu. Pˇriloˇzena je také demo aplikace pro kompletn´ı dokreslen´ı vyuˇzit´ı v praxi.

1.1

Zdroje pro automatickou sumarizaci

Jak jiˇz bylo v´ yˇse zm´ınˇeno, sumarizátor by mˇel b´ yt schopen zpracovat jakákoliv textová data s jak´ ymkoliv objektivn´ım názorem. Nav´ıc jiˇz bylo zm´ınˇeno, ˇze sumarizace je vhodná zejména pro odvˇetv´ı, kde mohou v´ ysledky poskytnout 1

´ Uvod


kromˇe pouhé informace i nˇeco nav´ıc. Obchod, reklama, marketing vˇseobecnˇe. To jsou pˇresnˇe ta odvˇetv´ı, kde se mohou v´ ysledky vyuˇz´ıt s nejvˇetˇs´ım uˇzitkem. D´ıky správné a rychlé anal´ yze urˇcit´ ych zdrojov´ ych dat m˚ uˇze firma flexibilnˇe reagovat na jakékoliv problémy, které se k n´ı od nespokojen´ ych klient˚ u nebo zákazn´ık˚ u dostanou. Dostáváme se tak do u ´rovnˇe zásadn´ıch odliˇsuj´ıc´ıch faktor˚ uu ´spˇechu a ne´ uspˇechu firem. Mezi hlavn´ı zdroje tˇechto dat poˇc´ıtáme tedy taková m´ısta, kde vˇetˇs´ı mnoˇzstv´ı lid´ı ventiluje sv˚ uj osobn´ı názor a t´ım tak dává najevo sv˚ uj postoj k urˇcité situaci, sluˇzbˇe nebo v´ yrobku. Patˇr´ı mˇezi nˇe zejména diskuze nebo sociáln´ı s´ıtˇe. Facebook je v naˇsem okol´ı momentálnˇe nejrozˇs´ıˇrenˇejˇs´ı sociáln´ı s´ıt’, která se pro automatickou sumarizaci názor˚ u hod´ı opravdu hodnˇe. Jej´ı nejvˇetˇs´ı v´ yhodou jsou tzv. facebookové stránky r˚ uzn´ ych firem, spoleˇcnost´ı nebo v´ yrobk˚ u, pod kter´ ymi mohou dané subjekty pˇr´ımo vystupovat a tvoˇrit svoj´ı vlastn´ı sociáln´ı identitu. D´ıky vlastnostem velice rozˇs´ıˇrené sociáln´ı s´ıtˇe se v idea´ln´ım pˇr´ıpadˇe m˚ uˇze jednat o velice efektivn´ı nástroj pro komunikaci s klienty nebo zákazn´ıky. Z tohoto d˚ uvodu se tak takovéto facebookové stránky stávaj´ı pˇr´ımo ideáln´ım zdrojem pro automatickou sumarizaci názor˚ u, jelikoˇz se zde v ideáln´ım pˇr´ıpadˇe m˚ uˇze nashromáˇzdit opravdu veliké mnoˇzstv´ı pˇr´ıspˇevk˚ u, reakc´ı a názor˚ u na v´ yrobek, sluˇzbu, spoleˇcnost nebo dˇen´ı kolem n´ı. D´ıky dobrému automatickému sumarizátoru by tak mohly tyto spoleˇcnosti analyzovat vlastn´ı pˇrednosti nebo naopak nedostatky. ˇ Twitter je sociáln´ı s´ıt’ zamˇeˇrená zejména na reakce a glosován´ı. V CR zat´ım ne tak rozˇs´ıˇrená jako napˇr´ıklad v USA, ale jej´ı obliba neustále roste. Proces automatické sumarizace by se zde dal vyuˇz´ıt napˇr´ıklad pro zpracován´ı pˇr´ıspˇevk˚ u s dan´ ym hashtagem, tedy s urˇcit´ ym atributem vyjadˇruj´ıc´ı dané téma. Daj´ı se tak opˇet analyzovat data, která jsou pˇridruˇzena k nˇejaké znaˇcce v´ yrobku nebo spoleˇcnosti. Sociáln´ı s´ıt’ Google+ vznikla jako reakce spoleˇcnosti Google na vysoce se rozˇsiˇruj´ıc´ı trend sociáln´ıch s´ıt´ı. Má za u ´kol stejnˇe jako ostatn´ı sociáln´ı s´ıtˇe podporovat zejména komunikaci a spoleˇcenskou interakci. Jedná se o nejmladˇs´ı sociáln´ı s´ıt’ z v´ yˇse zm´ınˇen´ ych a je proto také zat´ım mezi uˇzivateli nejménˇe rozˇs´ıˇrená, aˇckoliv tomu tak u ´plnˇe ˇr´ıkat nem˚ uˇzeme, jelikoˇz d´ıky rozˇs´ıˇrenému vyuˇz´ıván´ı emailové sluˇzby Gmail spoleˇcnosti Google je kaˇzd´ y takov´ yto uˇzivatel automaticky vlastn´ıkem profilu v sociáln´ı s´ıti Google+. Obecnˇe jakékoliv diskuzn´ı f´ orum se stává ideáln´ım pˇredmˇetem pro ana-

2

´ Uvod


l´ yzu pomoc´ı automatického sumarizátoru názor˚ u, jelikoˇz pˇresnˇe proto jsou diskuzn´ı fóra vyuˇz´ıvána. Staˇc´ı jen zvolit vlákno nebo soubor vláken k tématu, které chceme analyzovat a máme také velice hodnotná zdrojová data. Analyzovat se vˇsak dá témˇeˇr jak´ ykoliv text, jehoˇz sumarizace by nás potenciálnˇe mohla zaj´ımat. Blogy jsou v p˚ uvodn´ı podstatˇe jakési den´ıˇcky, kam mohou uˇzivatelé psát jakékoliv svoje myˇslenky nebo záˇzitky, které se postupem ˇcasu pˇretransformovali také na pomocn´ y prostˇredek vˇetˇs´ıch firem k informován´ı kolem dˇen´ı ve spoleˇcnosti nebo kolem novinek z daného odvˇetv´ı, které nemus´ı ani pˇr´ımo s ˇcinnost´ı firmy souviset. V´ yhodou tˇechto blog˚ u je také to, ˇze se mohou v mnoha pˇr´ıpadech komentovat jednotlivé ˇclánky a vzniká tak dalˇs´ı prostor pro názorovou anal´ yzu a následnou sumarizaci. Recenze je dalˇs´ı specifick´ y typ textu, jeˇz vyjadˇruje vlastn´ı názor autora na urˇcité d´ılo, v´ yrobek nebo sluˇzbu. Jedná se zde opravdu o subjektivn´ı pocity a názory a je tak moˇznost, ˇze bychom tato data chtˇeli nˇejak´ ym zp˚ usobem analyzovat, zejména pak v pˇr´ıpadˇe, ˇze vznikne na dan´ y v´ yrobek nebo d´ılo recenz´ı des´ıtky aˇz stovky a my nejsme schopni z nich za rozumné náklady vyvodit reprezentativn´ı v´ ysledky. Aˇckoliv by se v rámci zpravodajstv´ı mˇelo jednat o objektivn´ı a podloˇzené zprávy, zkuˇsenosti nám ukazuj´ı, ˇze tomu tak b´ yt nemus´ı, ba naopak. Je to tak dalˇs´ı z mnoha moˇznost´ı, kdy vyuˇz´ıvat automatickou sumarizaci názor˚ u a to zejména, pokud se zpráv o dané vˇeci sejde v´ıcero z r˚ uzn´ ych zdroj˚ u.

3

2 Pˇredzpracován´ı textu Pˇri jakékoliv anal´ yze textu, at’ uˇz ˇceského nebo cizojazyˇcného, mus´ıme brát vu ´vahu, ˇze jak´ ykoliv text, kter´ y pouˇzijeme, nemus´ı b´ yt pro danou anal´ yzu zcela ideáln´ı a mˇeli bychom se tak zamyslet nad jeho pˇredzpracován´ım, tedy pˇr´ıpravˇe textu k dané anal´ yze tak, abychom dosáhli kvalitn´ıch v´ ysledk˚ u. Pˇr´ıkladem uved’me nástroj Although Ark-tweetnlp tool [Gimpel et al.(2011)], jehoˇz v´ yznamnou vlastnost´ı je zamˇeˇren´ı na emotikony a dalˇs´ı speciáln´ı sekvence symbol˚ u. Aˇckoliv byl tento nástroj vyvinut a optimalizován pro anglick´ y jazyk, [Habernal et al.(2013)] uvád´ı, ˇze podle testován´ı na ˇceském jazyce je tento postup u ´spˇeˇsn´ y i tam. Mezi dalˇs´ı ˇsiroce pouˇz´ıvané metody, které zapˇr´ıˇcin´ı zmenˇsen´ı slovn´ıku jsou napˇr´ıklad lematizace nebo odstranˇen´ı stopwords (tzv. stopslova, coˇz jsou slova, která ˇza´dn´ ym zp˚ usobem nevyjadˇruj´ı subjektivitu).

2.1

Vlastnosti ˇ cesk´ eho jazyka

Pokud se v rámci této práce chceme zamˇeˇrit na automatickou sumarizaci názor˚ u zejména v ˇceském jazyce, mˇeli bychom m´ıt základn´ı znalosti o tomto jazyku a o tom, jak která slova vznikaj´ı nebo jak s nimi nakládat. Základem je tedy znalost slovotvorby, coˇz je podle [Marek Nekula(2003)] odvˇetv´ı zab´ yvaj´ıc´ı se tvorbou jednoslovn´ ych pojmenován´ı a to bud’ na základˇe pojmenován´ı názv˚ u jiˇz existuj´ıc´ıch nebo názv˚ u odvozen´ ych, respektive jejich vznikem. Obecnˇe m˚ uˇzeme ˇr´ıci, ˇze slovotvorba se dˇel´ı na dvˇe metody, derivaci (odvozován´ı nov´ ych slov od jiˇz existuj´ıc´ıch) a kompozici (skládán´ı nov´ ych slov ze slov jiˇz existuj´ıc´ıch). Mezi základn´ı informace o ˇceském jazyce, kter´ y je flektivn´ı (m˚ uˇzeme slova ˇcasovat a skloˇ novat) bychom mˇeli zaˇradit také definované ˇcásti ˇcesk´ ych slov. • Koˇ ren - tvoˇr´ı základ kaˇzdého slova a je dále nedˇeliteln´ y. Koˇren urˇcuje základn´ı v´ yznam slova a d´ıky pˇredponám, pˇr´ıponám a koncovkám je dále rozv´ıjen, ˇc´ımˇz vznikaj´ı nové a nové tvary slov [Marek Nekula(2002)]. • Pˇ redpona - v [Marek Nekula(2002)] je uvedeno, ˇze pˇredpona (prefix) je rozˇs´ıˇren´ı základového slova, je pˇripojena pˇred toto slovo a mˇen´ı jeho v´ yznam, ale slovn´ı druh z˚ ustává nepozmˇenˇen.

4

Pˇredzpracován´ı textu

Základn´ı vlastnosti pˇr´ıspˇevk˚ u

• Pˇ r´ıpona - neboli sufix je opakem pˇredpony a d´ıky sufixaci (metoda tvoˇr´ıc´ı nová slova pomoc´ı pˇridáván´ı pˇr´ıpon [Marek Nekula(2002)]), vznikaj´ı podobnˇe jako u pˇredpon slova nov´ ych v´ yznam˚ u, ale v tomhle pˇr´ıpadˇe docház´ı nav´ıc také ke zmˇenˇe slovn´ıho druhu. • Koncovka - podle [Marek Nekula(2002)] m˚ uˇze b´ yt souˇca´st´ı pˇr´ıpony (na jej´ım konci), ale m˚ uˇze b´ yt vˇsak napojena pˇr´ımo na slovn´ı základ.

2.2

Z´ akladn´ı vlastnosti pˇ r´ıspˇ evk˚ u

Pokud se v rámci této diplomové práce zamˇeˇr´ıme pˇrednostnˇe na anal´ yzu pˇr´ıspˇevk˚ u z nˇejaké facebookové stránky, máme ideáln´ı zdrojová data pro urˇcován´ı sentimentu. Aˇckoliv se m˚ uˇze zdát, ˇze se jedná o zcela ideáln´ı pˇr´ıpad pro zkoumán´ı sentimentu s následnou sumarizac´ı, mˇeli bychom se zamˇeˇrit na urˇcité aspekty, které mohou klasifikaci sentimentu zkreslit. • Pˇrednˇe mus´ıme ˇr´ıci, ˇze v´ ysledn´ y sentiment daného pˇr´ıspˇevku nemus´ı b´ yt zcela totoˇzn´ y se sentimentem kaˇzdého urˇcitého slova z pˇr´ıspˇevku. Jinak ˇreˇceno napˇr´ıklad slova s kladn´ ym sentimentem mohou b´ yt obsaˇzena v pˇr´ıspˇevku s v´ ysledn´ ym záporn´ ym sentimentem nebo naopak. • Jako u vˇetˇsiny text˚ u se i ve vˇetˇsinˇe pˇr´ıspˇevk˚ u budou vyskytovat nezv´ yznamová slova, tzv. stopwords, která mohou anal´ yzu zkreslovat. • Mezi velké pˇrekáˇzky ve správnˇe klasifikaci sentimentu patˇr´ı napˇr´ıklad ironie. Pˇr´ıspˇevek s ironick´ ym podtextem m˚ uˇze b´ yt klasifikován zcela opaˇcnˇe. • Mezi ostatn´ı vlastnosti pˇr´ıspˇevk˚ u na sociáln´ıch s´ıt´ı patˇr´ı primárnˇe lidsk´ y faktor. Kv˚ uli tomu se v textu vyskytuj´ı r˚ uzné pˇreklepy, pˇresmyˇcky nebo dokonce pravopisné chyby, které nelze pˇredem nijak predikovat a vzniká tak dalˇs´ı problém se správnou klasifikac´ı. V ideáln´ım pˇr´ıpadˇe bychom se mˇeli vˇsech tˇechto v´ yˇse zm´ınˇen´ ych problém˚ u zbavit a odstranit je, coˇz vˇsak m˚ uˇze b´ yt opravdu sloˇzité.

5


2.3

Stopwords

Stopwords

Jako stopwords oznaˇcujeme slova, která nám do oblasti zkoumán´ı sentimentu nepˇrináˇs´ı ˇza´dn´ y v´ yznam a jsou tud´ıˇz zbyteˇcnˇe rozˇsiˇruj´ıc´ım faktorem zdrojov´ ych dat a t´ım i jeho zbyteˇcného zkreslen´ı. Je tedy velice ˇza´douc´ı, abychom se takov´ ychto pˇred samotnou klasifikac´ı zbavili a cel´ y proces tak znaˇcnˇe zjednoduˇsili. Pˇri detailnˇejˇs´ım zkoumán´ı lze totiˇz vypozorovat, ˇze se právˇe zm´ınˇené stopwords vyskytuj´ı ve vˇetˇsinˇe textech nefrekventovanˇeji a pˇri zkoumán´ı sentimentu i se stopwords by tak docházelo opravdu ke zbyteˇcnému a rozsáhlému ovlivˇ nován´ı klasifikace. Z pohledu slovn´ıch druh˚ u m˚ uˇzeme ˇr´ıci, ˇze se jedná zejména o spojky nebo zájmena a jak je známo, tato slova ˇzádn´ y v´ yznam z hlediska sentimentu nenesou. Jako referenˇcn´ı a zároveˇ n reáln´ y seznam stopwords byl pouˇzit seznam poskytnut´ y Ing. Josefem Steinbergerem, Ph.D., obsahuj´ıc´ı pˇres 800 tˇechto sentimentovˇe nev´ yznamn´ ych v´ yraz˚ u. Kompletn´ı seznam tˇechto slov naleznete v pˇr´ıloze A.

2.4

Lematizace

Pomoc´ı lematizace dostáváme základn´ı tvary slova daného v´ yznamu, kter´ y se vˇsak v textu m˚ uˇze vyskytovat v r˚ uzn´ ych pádech nebo ˇcasech. Pˇr´ıkladem bud’ napˇr´ıklad sloveso zaváhat, které se po procesu lematizace ustál´ı ve tvaru váhat, tedy v infinitivu p˚ uvodn´ıho slovesa. Pˇresnˇe takov´ ymto zp˚ usobem dojde ke sjednocen´ı slov stejného v´ yznamu, avˇsak rozd´ıln´ ych tvar˚ u. Potenciálnˇe tak zuˇzujeme seznam slov pouˇzit´ ych v analyzovaném textu.

2.5

POS tagging

Metoda zjiˇst’uj´ıc´ı slovn´ı druh a tvar analyzovaného slova pojmenovaná podle anglického v´ yznamu part of speech (POS). Tento algoritmus generuje ke zkouman´ ym slov˚ um pravidly definované ˇretˇezce a t´ım tak poznáme p˚ uvodn´ı slovn´ı druh, pˇr´ıpadnˇe tvar. D´ıky tˇemto ˇretˇezc˚ um máme k lematizovan´ ym slov˚ um p˚ uvodn´ı informace a m˚ uˇzeme je v pˇr´ıpadˇe potˇreby vyuˇz´ıt. Jedná se tak napˇr´ıklad o zjiˇstˇen´ı pˇr´ıslovc´ı urˇcuj´ıc´ıch m´ıru, které se po lematizaci zkrátily na pˇr´ısluˇsn´ y základ. Pˇri zdokonalován´ı klasifikace sentimentu tak m˚ uˇzeme 6


N-Gramy

vyuˇz´ıt i tˇechto informac´ı a v´ ysledky anal´ yzy zpˇresnit.

2.6

N-Gramy

Tato konstrukce slouˇz´ı zejména pro urˇcen´ı sentimentu tam, kde bychom ho pouze za pomoci zkoumán´ı jednotliv´ ych slov nikdy neodhalili. N-gram nám znázorˇ nuje dvˇe a v´ıce slov, jdouc´ı po sobˇe v pˇresnˇe daném poˇrad´ı, ˇc´ımˇz m˚ uˇzeme definovat sentiment i u slovn´ıch spojen´ı, jejichˇz samostatná slova sama o sobˇe ˇza´dn´ y sentiment neobsahuj´ı. Konkrétnˇe v naˇsem pˇr´ıpadˇe následného praktického vyuˇzit´ı m˚ uˇzeme nejv´ıce pouˇz´ıvaná slovn´ı spojen´ı (napˇr´ıklad bigramy obsahuj´ıc´ı dvˇe slova) s dan´ ym sentimentem pˇridat do pouˇz´ıvan´ ych slovn´ık˚ u a zv´ yˇsit tak pˇresnost v´ ysledk˚ u anal´ yzy.

7

3 Analýza názor˚ u V anal´ yze názor˚ u je c´ılem rozpoznat a klasifikovat subjektivn´ı obsah textu. Rozpoznáváme tedy subjektivn´ı názory, jejichˇz anal´ yza nám m˚ uˇze pomoci k rychlému pochopen´ı zásadn´ıch myˇslenek autora/autor˚ u. Zdrojová data mohou b´ yt klasifikována jako celek a z hodnocen´ı se tak m˚ uˇzeme dozvˇedˇet celkov´ y názor na v´ yrobek nebo sluˇzbu. Napˇr´ıklad v rámci zpravodajstv´ı pak m˚ uˇzeme klasifikovat jednotlivé zprávy a rychl´ ym zp˚ usobem je rozliˇsit na dobré a ˇspatné. Vˇse se ovˇsem odv´ıj´ı od subjektivn´ıch názor˚ u autora textu a nemus´ı to tak jednoznaˇcnˇe znamenat, ˇze obecnˇe dobrá zpráva bude popsána v superlativech. Za urˇcit´ ych okolnost´ı pak m˚ uˇze nastat situace, ˇze ve vaˇsich oˇc´ıch dobrá zpráva bude sentimentovˇe vyhodnocena jako ˇspatná nebo naopak. Takovéto problémy mohou vznikat pˇredevˇs´ım u názor˚ u na konkrétn´ı osoby, celebrity nebo politické dˇen´ı. Je proto nutné zamˇeˇrit se na celkov´ y kontext zprávy, coˇz kompletn´ı klasifikaci zdrojov´ ych dat ˇcasto velice znesnadˇ nuje. Pokud se chceme tˇemto problém˚ um vyhnout a dosáhnout opravdu hodnotného v´ ysledku, mˇeli bychom na danou situaci sehnat co nejv´ıce zdroj˚ u v ideáln´ım pˇr´ıpadˇe od r˚ uzn´ ych autor˚ u, z r˚ uzn´ ych zem´ı nebo v r˚ uzn´ ych jazyc´ıch. Poté bychom mˇeli m´ıt mnohem vˇetˇs´ı jistotu, ˇze v´ ysledky klasifikace nebudou zkreslené a budou m´ıt dostateˇcnou vypov´ıdaj´ıc´ı hodnotu. Co se t´ yˇce zdroj˚ u v r˚ uzn´ ych jazyc´ıch, je nutné pˇriznat, ˇze nen´ı zcela snadné vytvoˇrit analyzátor pro v´ıce jazyk˚ u, kter´ y by nav´ıc pracoval nad obrovsk´ ym mnoˇzstv´ım zdrojov´ ych text˚ u. Problém také nastává v pˇr´ıpadˇe diverzifikace zdrojov´ ych text˚ u. Ve v´ ysledku m˚ uˇzeme prohlásit za pouˇzitelné pouze recenze a to jeˇstˇe ve vˇetˇsinˇe pˇr´ıpad˚ u pouze v angliˇctinˇe. Sentimentové slovn´ıky jsou také ve vˇetˇsinˇe pˇr´ıpad˚ u pouze anglické. V pˇr´ıpadˇe ostatn´ıch jazyk˚ u nem˚ uˇzeme slovn´ıky povaˇzovat za adekvátn´ı slovn´ık˚ um anglick´ ym, jelikoˇz nejsou vytváˇreny pro zcela stejné u ´ˇcely podle naprosto stejn´ ych pravidel.

3.1

Slovn´ıkov´ e metody

Jedná se o jeden ze dvou základn´ıch pˇr´ıstup˚ u, jak sentimentovˇe analyzovat zdrojov´ y text [Taboada et al.(2011)]. K urˇcován´ı sentimentu se vyuˇz´ıvá ruˇcnˇe nebo automaticky vytvoˇren´ ych slovn´ık˚ u, na jejichˇz bázi docház´ı k dané ana8

Analýza názor˚ u

Slovn´ıkové metody

l´ yze a to tak, ˇze se procház´ı slovo od slova a urˇcuje se celkové sentimetnové skóre na základˇe v´ yskytu daného slova ve slovn´ıku. Velkou ˇcást kaˇzdého slovn´ıku pro anal´ yzu sentimentu zahrnuj´ı pˇr´ıdavná jména, jelikoˇz právˇe ta jsou ve velké ˇca´sti nositeli sentimentu.

3.1.1

Slovn´ıky

Jak jiˇz bylo napsáno, slovn´ıky pro slovn´ıkové metody mohou b´ yt vytvoˇrenu bud’ ruˇcnˇe nebo automaticky pomoc´ı základn´ıch slov a jejich dalˇs´ım rozˇsiˇrován´ım tak, ˇze kaˇzdé nové pˇr´ıdavné jméno je dopoˇc´ıtáno podle frekvence pˇridruˇzen´ı ke stávaj´ıc´ım základn´ım slov˚ um. V principu je totiˇz na vˇec nahl´ıˇzeno tak, ˇze kladná pˇr´ıdavná jména se ˇcastˇeji objevuj´ı v bl´ızkosti kladn´ ych základn´ıch slov a opaˇcnˇe. Velká ˇca´st v´ yzkumu slovn´ık˚ u a slovn´ıkov´ ych metod se zamˇeˇruje na pouˇzit´ı pˇr´ıdavn´ ych jmen jako indikátor˚ u sémantické orientace textu. Takovéto slovn´ıky tedy tvoˇr´ı seznam pˇr´ıdavn´ ych jmen s urˇcen´ım jejich sémantické orientace, tedy s informac´ı, zda se jedná o pˇr´ıdavné jméno kladné nebo záporné. [Taboada et al.(2011)] vˇsak zmiˇ nuje, ˇze nejen pˇr´ıdavná jména jsou nositeli sémantické informace a proto d˚ uleˇzité zamˇeˇrit se také na slovn´ıky podstatn´ ych jmen, sloves nebo pˇr´ıslovc´ı. Konkrétnˇe v tomto experimentu byla pak jednotliv´ ym slov˚ um pˇridána váha od -5 do 5 bod˚ u, která vyznaˇcuje intenzitu a polaritu slova. Slovn´ıky podstatn´ ych jmen a sloves byly tvoˇreny ruˇcnˇe a slovn´ık pˇr´ıslovc´ı byl vytvoˇren ze slovn´ıku pˇr´ıdavn´ ych jmen s t´ım, ˇze dan´ ym pˇr´ıslovc´ım byla ponechána váha jeho vzorového pˇr´ıdavného jména. Samozˇrejmˇe existuje nˇekolik zvláˇstn´ıch pˇr´ıpad˚ u, kdy je do slovn´ıku pˇridáno pˇr´ıslovce ruˇcnˇe tak, aby byl v´ ysledn´ y slovn´ık co nejkvalitnˇejˇs´ı. Dalˇs´ı moˇznou souˇcást´ı systému slovn´ıku jsou slova, která zvyˇsuj´ı (napˇr.: ”velmi”) nebo sniˇzuj´ı (napˇr.: ”m´ırnˇe”) intenzitu slov vedle sebe. Problémem je vˇsak r˚ uzná m´ıra ovlivnˇen´ı jednotliv´ ych slov a nav´ıc konkrétn´ı zmˇena je také závislá na slovˇe u kterého intenzita mˇen´ı. Mezi slovn´ı druhy tˇechto zesiluj´ıc´ıch slov patˇr´ı vˇetˇsinou pˇr´ıslovce nebo pˇr´ıdavná jména. Nen´ı vˇsak na ˇskodu do slovn´ık˚ u zaˇradit také dalˇs´ı informace, jako napˇr´ıklad pouˇz´ıván´ı velk´ ych p´ısmen, které lidi pouˇz´ıvaj´ı pro vˇetˇs´ı zd˚ uraznˇen´ı nebo pouˇz´ıván´ı vykˇriˇcn´ık˚ u.

9


3.1.2

Algoritmy strojového uˇcen´ı

Negace

Jako d˚ uleˇzitou vlastnost pˇr´ıspˇevk˚ u, respektive názor˚ u zmiˇ nme negaci. Tato vlastnost totiˇz m˚ uˇze z potenciálnˇe kladného pˇr´ıspˇevku vytvoˇrit názor zcela opaˇcn´ y, tedy záporn´ y. Zejména v anglickém jazyce je pak velice d˚ uleˇzité tyto ˇ záporné v´ yrazy, které neguj´ı jiná slova vyhledávat. Casto se vˇsak stává, ˇze tyto negace nejsou pˇr´ımo spojené s dan´ ym slovem, které ovlivˇ nuj´ı a je tak ˇcasto nutná rozsáhlejˇs´ı anal´ yza k nalezen´ı tˇechto návaznost´ı. V experimentu [Taboada et al.(2011)] byly pouˇzity dvˇe metody. Hlavn´ım problémem je vˇsak negace polarity daného v´ yrazu, jelikoˇz nen´ı zcela správn´ y pˇr´ıstup otáˇcet skóre jen pomoc´ı znaménka. Mnohem je lepˇs´ı je zaveden´ı principu posunu negace, coˇz v základu znamená posun skóre o urˇcitou hodnotu. Ze skóre 5 nám tak nevznikne -5, ale napˇr´ıklad 1.

3.2

Algoritmy strojov´ eho uˇ cen´ı

Strojové uˇcen´ı m˚ uˇzeme správnˇe z urˇcitého pohledu povaˇzovat za podobné tomu lidskému. Klasifikátor zaloˇzen´ y na strojovém uˇcen´ı totiˇz funguje tak, ˇze se nejprve nauˇc´ı danou vˇec (anal´ yzu sentimentu) na správnˇe oznaˇckovaném datasetu a následnˇe pouˇzije tyto znalosti k roztˇr´ıdˇen´ı zkouman´ ych dat do dan´ ych kategori´ı.

3.2.1

Support Vector Machines

Pˇr´ıstup p˚ uvodnˇe zaloˇzen´ y na binárn´ı klasifikaci, tedy rozdˇeluje analyzovaná data do dvou tˇr´ıd [Corinna et al.(1995)]. Jak nastiˇ nuje [Meyer(2001)] m˚ uˇzeme tento pˇr´ıstup popsat nˇekolika základn´ımi aspekty: • Rozdˇ elen´ı tˇ r´ıd - v podstatˇe hledáme optimáln´ı dˇel´ıc´ı nadrovinu mezi dvˇema tˇr´ıdami s maximáln´ım rozpˇet´ım nejbliˇzˇs´ıch bod˚ u (Obr. 3.1). • Pˇ rekr´ yvaj´ıc´ı se tˇ r´ıdy - pˇr´ıkladové body vyskytuj´ıc´ı se na ˇspatné stranˇe nadroviny jsou váhovˇe omezovány tak, aby doˇslo ke sn´ıˇzen´ı jejich vlivu. • Neline´ arnost - pokud nastane problém s lineárn´ı separovatelnost´ı dané u ´lohy, pomoc´ı jádrové transformace (kernel transformation) do10



cház´ı k transformaci dat do vyˇsˇs´ı dimenze, kde jiˇz nen´ı problém danou u ´lohu separovat lineárnˇe. ˇ sen´ı probl´ • Reˇ emu - celá u ´loha m˚ uˇze b´ yt formulována jako problém kvadratické optimalizace, kter´ y m˚ uˇze b´ yt znám´ ymi technikami vyˇreˇsen. Program schopn´ y provádˇet vˇsechny zm´ınˇené body se naz´ yvá Support Vector Machine.

Obrázek 3.1: Dˇel´ıc´ı nadrovina mezi dvˇema tˇr´ıdami (separating hyperlane) obklopena dvˇema vektory (support vectors), které jsou tvoˇreny pˇr´ıklady nejbl´ıˇze nadrovinˇe. Vidˇet je také maximáln´ı vzdálenost vektor˚ u (margin)

11


3.2.2


Naive Bayes

Jedná se o jeden z nejznámˇejˇs´ıch algoritm˚ u strojového uˇcen´ı zaloˇzen´ y na principu nezávislého v´ yskytu slov v dokumentu v závislosti na bayesovskému teorému. Znamená to, ˇze se jedná o metodu pˇredpokládaj´ıc´ı podm´ınˇenou nezávislost tˇr´ıdy. Jednotlivá slova dokumentu D jsou postupnˇe analyzována a tˇr´ıdˇena do urˇcen´ ych tˇr´ıd C. I kdyˇz je tento pˇr´ıstup velice jednoduch´ y, jeho u ´ˇcinnost je vcelku dobrá, ale zásadn´ı v´ yhodou je jeho malá v´ ypoˇcetn´ı sloˇzitost [Zhang(2004)].

Bayes˚ uv teor´ em Berme v u ´vahu, ˇze X je pˇr´ıpad u kterého neznáme zaˇrazen´ı do tˇr´ıdy C. ´ celem je tedy zjisPoté mˇejme hypotézu H, ˇze patˇr´ı do urˇcité tˇr´ıdy Ci . Uˇ tit podm´ınˇenou pravdˇepodobnost P (X|H). Na tomto základˇe a znalostech pravdˇepodobnost´ı P (H) a P(X) m˚ uˇzeme podle Bayesova teorému vypoˇc´ıtat poˇzadovanou pravdˇepodobnost P (H|X) (3.1):

(P (H|X) =

P (X|H)P (H) P (X)

(3.1)

Naivn´ı Bayes˚ uv klasifik´ ator Na zaˇca´tku mus´ı doj´ıt k nauˇcen´ı, tedy mus´ıme m´ıt trénovac´ı mnoˇzinu D, ze které se klasifikátor nauˇc´ı zaˇrazován´ı do správn´ ych tˇr´ıd. Kaˇzd´ y pˇr´ıklad je totiˇz v trénovac´ı mnoˇzinˇe pˇriˇrazen do správné tˇr´ıdy a popsán n-rozmˇern´ ym vektorem atribut˚ u. Nyn´ı m˚ uˇzeme pˇredpokládat, ˇze máme m klasifikaˇcn´ıch tˇr´ıd C a chceme kaˇzd´ y pˇr´ıklad pˇriˇradit do tˇr´ıdy s maximáln´ı pravdˇepodobnost´ı (3.2): P (Ci |X) > P (Cj |X)

(3.2)

Tˇr´ıda Ci pro kterou je pravdˇepodobnost v urˇcené tˇr´ıdˇe maximáln´ı, je podle Bayesova teorému (3.3):

12



P (Ci |X) =

P (X|Ci )P (Ci) P (X)

(3.3)

Zjednoduˇsenˇe m˚ uˇzeme ˇr´ıci, ˇze pˇr´ıklad X je zaˇrazen do tˇr´ıdy, pro kterou je pravdˇepodobnost P (X|Ci )P (Ci ) maximáln´ı, jelikoˇz pravdˇepodobnost P (X) je konstantn´ı pro vˇsechny pˇr´ıpady [Manning et al.(2008)].

3.2.3

Modelov´ an´ı maxim´ aln´ı entropi´ı

Maximum entropy modeling, ˇcesky ˇreˇceno modelován´ı s maximáln´ı entropi´ı, je zp˚ usob, pomoc´ı kterého se daj´ı klasifikovat informace z r˚ uznorod´ ych zdroj˚ u. Problém s touto klasifikac´ı je zaloˇzen na potenciálnˇe velkém poˇctu pˇr´ıznak˚ u, které mohou b´ yt celkem sloˇzité a vyuˇz´ıvaj´ı pˇredem z´ıskan´ ych znalost´ı o d˚ uleˇzitosti a oˇcekávaném v´ yskytu jednotliv´ ych specifick´ ych vlastnost´ı pˇri následné klasifikaci. Kaˇzd´ y tento pˇr´ıznak následnˇe odpov´ıdá urˇcitému specifickému omezen´ı v rámci specifikace. Ze vˇsech model˚ u vyhovuj´ıc´ıch dan´ ym omezen´ım se vybere model s maximáln´ı entropi´ı. V ideáln´ım pˇr´ıpadˇe by mˇely b´ yt zadány vˇsechny potenciálnˇe d˚ uleˇzité informace pˇred zaˇca´tkem klasifikace a následnˇe ponechány trénovac´ımu procesu pro vytvoˇren´ı nejlepˇs´ıho modelu. Pro kaˇzdou danou sadu pˇr´ıznak˚ u se poˇc´ıtá oˇcekávan´ y v´ yskyt jednotliv´ ych pˇr´ıznak˚ u na základˇe trénovac´ı mnoˇziny. Pˇr´ıznaky jsou tedy binárn´ı funkce v následuj´ıc´ım tvaru (3.4). (

p(x, y) =

1 kdyˇz x > 0 a y = 1 0 jinak

(3.4)

kde x je vektor vstupn´ıho prvku a y je oznaˇcen´ı tˇr´ıdy. Nyn´ı je zapotˇreb´ı zjistit rozdˇelen´ı pravdˇepodobnosti p(y|x), kde x je aktuáln´ı slovo a y je oznaˇcen´ı tˇr´ıdy. Potˇrebujeme tedy zjistit maximáln´ı entropii vˇsech rozdˇelen´ı v souvislosti s p(y|x). Nejlepˇs´ı rozdˇelen´ı pravdˇepodobnosti se pak poˇc´ıtá pomoc´ı následuj´ıc´ıho tvaru (3.5).

p(y|x) =

n X 1 exp λj fj (x, y) Z(x) i=1

13

(3.5)



Z(x) =

X

exp

y

X

λi fi (x, y)

i

kde Z je pouze normalizaˇcn´ı konstanta, která zajiˇst’uje rozdˇelen´ı pravdˇepodobnosti p(y|x), n znaˇc´ı poˇcet pˇr´ıznak˚ u a λ je váha daného pˇr´ıznaku ([Zapotocky(2012)]).

14

4 Automatická sumarizace V dneˇsn´ım svˇetˇe vyuˇz´ıván´ı modern´ıch technologi´ı a zejména internetu v rámci komunikace a sd´ılen´ı textov´ ych informac´ı v elektronické podobˇe nastává problém velkého mnoˇzstv´ı um´ıstˇen´ ych dat a jejich ˇc´ım dál t´ım sloˇzitˇejˇs´ı a udrˇzitelnˇejˇs´ı struktury a pˇrehled. To má za následek motivaci kondenzace text˚ u do jednoduˇsˇs´ıch informac´ı se základn´ı vypov´ıdaj´ıc´ı hodnotou[Jezek et al.(2008)]. Existuje spousta r˚ uzn´ ych definic, které popisuj´ı v´ yznam sumarizace: • ”Struˇcné, ale pˇresné vyjádˇren´ı obsahu dokumentu.” • ”Destilace nejd˚ uleˇzitˇejˇs´ı informace ze zdrojov´ ych dat.” A kvantitativn´ı aspekty, kter´ ymi lze v´ ysledn´ y souhrn charakterizovat: • Sémantická informativnost - lze charakterizovat jako m´ıru schopnosti rekonstruovat p˚ uvodn´ı text ze souhrnu • Koherence - zp˚ usob, jak´ ym ˇca´sti souhrnu vytvoˇr´ı integrovanou souvislou sekvenci • Kompresn´ı pomˇer - pod´ıl délky souhrnu oproti délce vstupn´ıch dat Jak jiˇz bylo ˇreˇceno v´ yˇse, sumarizátor zpracovává jiˇz pˇredpˇripravená data ze zdrojov´ ych text˚ u. T´ım rozum´ıme data (pˇr´ıspˇevky, vˇety, text), která obsahuj´ı negativn´ı, pozitivn´ı nebo v krajn´ım pˇr´ıpadˇe neutráln´ı názor.

4.1

Metody sumarizace

4.1.1

Pr˚ ukopnick´ e metody

Prvn´ı algoritmus, kter´ y byl vyuˇz´ıván pro automatickou sumarizaci textu byl zaloˇzen pouze na jednoduch´ ych principech indikuj´ıc´ı ˇca´sti vybrané do v´ ysledné sumarizace, byl implementován jiˇz v roce 1958 [Luhn(1958)]. Jak uvád´ı 15

Automatická sumarizace

Metody sumarizace

[Jezek et al.(2008)], tak to byl pˇr´ıstup zaloˇzen´ y na principu zjiˇst’ován´ı frekvence slov v dokumentu s myˇslenkou, ˇze ˇcasto pouˇz´ıvaná slova jsou vypov´ıdaj´ıc´ı pro téma daného ˇclánku. U dalˇs´ıch tip˚ u algoritm˚ u se vyuˇz´ıvá napˇr´ıklad pozic dan´ ych slov nebo vˇet v dokumentu a jejich následné anal´ yzy.

4.1.2

Statistick´ e metody

Jak bylo dokázáno v [Salton(1988)], v´ yznam v´ yraz˚ u pouˇzit´ ych v daném dokumentu je nepˇr´ımo u ´mˇern´ y poˇctu dokument˚ u v korpusu obsahuj´ıc´ı dan´ y term´ın. V [Kupiec et al.(1995)] byla popsána v´ıce d˚ umyslná metoda zaloˇzená na bayesovském klasifikátoru v´ ypoˇctu pravdˇepodobnosti, jestli by vˇeta ze zdrojového dokumentu mˇela b´ yt vybrána do v´ ysledného souhrnu. K uˇcen´ı klasifikátoru autoˇri vyuˇzili 188 korpus˚ u obsahuj´ı vˇzdy pár dokumentu s jeho souhrnem. Jako charakteristické pˇr´ıznaky baysovského vzorce vyuˇz´ıvali napˇr´ıklad frekvenci pouˇzit´ı slova, délku vˇety nebo pozici slova v odstavci.

4.1.3

Metody zaloˇ zen´ e na textov´ em propojen´ı

Obecnˇe se jedná o metody zaloˇzené myˇslence propojen´ı textu nebo jeho kontextu. Jako pˇr´ıklad m˚ uˇzeme uvést metodu lexikáln´ıch ˇretˇezc˚ u [Barzilay(1997)], která je zaloˇzena na stanoven´ı urˇcit´ ych vztah˚ u mezi jednotliv´ ymi slovy (opakován´ı, synonyma, antonyma, atd.) a skládán´ı závisl´ ych slov do ˇretˇezc˚ u. Vˇety se do souhrnu vyb´ıraj´ı podle obsahu nejsilnˇejˇs´ıch ˇretˇezc˚ u, tedy ˇretˇezc˚ u, jejichˇz váha je podle poˇctu a typu vztah˚ u nejd˚ uleˇzitˇejˇs´ı. Do skupiny tˇechto metod zahrnujeme také pˇr´ıstupy zaloˇzené na teorii rétorické struktury (RST - Rhetorical Structure Theory)[Steinberger(2009)]. Jedná se o metodu zakládaj´ıc´ı se na principu rétorick´ ych vztah˚ u struktur textu, které dohromady spojuj´ı textové jednotky. Snaˇz´ıme se o práci a propojen´ı jádra (hlavn´ı myˇslenka autora textu) a satelitu, coˇz je ménˇe d˚ uleˇzitá aˇz okrajová ˇca´st textu. Takovéto vztahy vytváˇr´ı stromovou strukturu, na jej´ımˇz základˇe se vytváˇr´ı v´ ysledn´ y souhrn nejˇcastˇeji tak, ˇze jsou jednotlivé vˇety dokumentu penalizovány podle toho, jako rétorickou roli hraj´ı v celkové stromové struktuˇre.

16


4.1.4

Metody sumarizace

Aspektovˇ eˇ r´ızen´ a sumarizace

V [Steinberger et al.(2011)] je navrˇzen pˇr´ıstup pracuj´ıc´ı s v´ıcero jazyky. Tento systém je zamˇeˇren na podobné otázky, jak´ ymi jsou definovány kategorie TAC’10 a pro zachycen´ı dalˇs´ıch aspekt˚ u vyuˇz´ıvá automatického uˇcen´ı pojm˚ u v´ yznamovˇe souvisej´ıc´ıch s ruˇcnˇe vytvoˇren´ ym datasetem. C´ılem bylo vybrán´ı nejˇcastˇeji zmiˇ nované informace a zároveˇ n okamˇzitá kontrola zachycen´ı poˇzadovan´ ych aspekt˚ u. Na tomto základˇe byla navrˇzena kombinace spoleˇcného v´ yskytu v´ yraz˚ u a aspektech vycházej´ıc´ıch z daného systému. V experimentech byl vyuˇzit systém NEXUS ([Tanev et al.(2008a)]), kter´ y analyzuje zprávy o násiln´ ych ˇcinech a pˇr´ırodn´ıch nebo lidsk´ ych katastrofách. Jako pˇr´ıklady m˚ uˇzeme zm´ınit urˇcován´ı a identifikaci vraˇzd, povodn´ı nebo u ńos˚ u. Systém NEXUS analyzuje jednotlivé zprávy a vrac´ı podstatná data v jednotliv´ ych parametrech, jak´ ymi jsou napˇr´ıklad: typ události, poˇcet obˇet´ı, ˇskoda, atd.. Cel´ y proces je závisl´ y na kombinaci ruˇcnˇe vytvoˇren´ ych pravidel a v´ ysledk˚ u z´ıskan´ ych ze strojového uˇcen´ı. U experiment˚ u sumarizace pomoc´ı tohoto systému byly sumarizovány novinové ˇclánky z korpusu a v´ ysledné atributy byly pˇriˇrazeny k aspekt˚ um sumarizace. Na základˇe v´ yˇse zm´ınˇen´ ych experiment˚ u bylo zjiˇstˇeno, ˇze nˇekteré aspekty z aspektovˇe ˇr´ızené sumarizace odpov´ıdaj´ı informac´ım z´ıskan´ ym ze systému NEXUS. Zejména si pak odpov´ıdaj´ı aspekty typu události parametr˚ um ve strukturách událost´ı NEXUS. V experimentech [Steinberger et al.(2011)] byly sumarizovány novinové ˇclánky z korpusu a v´ ysledné parametry byly navázány na aspekty sumarizace. Napˇr´ıklad typ události byl navázán na aspekt toho, co se stalo. Pro ostatn´ı aspekty byl pouˇzit systém Ontopopulis ([Tanev et al.(2008b)]), kter´ y je urˇcen pro automatické uˇcen´ı sémantick´ ych tˇr´ıd zaloˇzen´ y na distribuˇcn´ı sémantice. Principiálnˇe je tento algoritmus zaloˇzen na seznamu slov z urˇcité sémantické tˇr´ıdy a poté prob´ıhá uˇcen´ı dalˇs´ıch slov ze tˇr´ıdy stejné. Je zˇrejmé, ˇze pro vytvoˇren´ı pˇresnˇejˇs´ıho slovn´ıku je nutn´ y ruˇcn´ı zásah a vyˇciˇstˇen´ı v´ ysledku. Seznam je seˇrazen´ y podle spolehlivosti v´ yraz˚ u a pokud kontrolujeme seznam shora dol˚ u, m˚ uˇzeme si urˇcit pˇresnost tak, ˇze proces zastav´ıme na urˇcité u ´rovni seznamu. Pokud bychom v´ ysledky ruˇcnˇe neupravili, nemuseli bychom dosáhnout oˇcekávané pˇresnosti.

17


4.1.5

Metody sumarizace

ˇ Casov´ a anal´ yza

ˇ Casov´ a anal´ yza m˚ uˇze b´ yt velice d˚ uleˇzitá pˇri urˇcit´ ych d´ılˇc´ıch u ´lohách sumarizace ve spojitosti se zjiˇst’ován´ım data a ˇcasu událost´ı. Pomoc´ı tˇechto dat m˚ uˇzeme dosáhnout lepˇs´ı sumarizace zejména u pˇr´ıbˇehovˇe orientovan´ ych anal´ yz. ˇ Casov´ a anal´ yza byla napˇr´ıklad integrována do procesu zab´ yvaj´ıc´ı se detekc´ı a normalizac´ı tzv. ˇcasov´ ych v´ yraz˚ u (Timex) [Steinberger et al.(2012)], jejichˇz rozsah a klasifikace jsou definovány v ˇca´steˇcném souladu se standardem TIMEX2 [Ferro et al.(2005)]. ˇ Casov´ e v´ yrazy jsou rozdˇeleny do krátk´ ych seznam˚ u ˇcasov´ ych typ˚ u (datum, ˇcas, ...), zahrnuj´ı ˇc´ıselné i neˇc´ıselné formáty dat, absolutn´ı nebo relativn´ı v´ yrazy a nakonec taktéˇz jejich kombinace. Timex anal´ yza se rozdˇeluje na dvˇe fáze, rozpoznáván´ı a normalizaci. Fáze rozpoznáván´ı je zaloˇzena na detekci a segmentaci textu ˇca´steˇcnˇe závisl´ ych na pravidlech pouˇzitého jazyka. Pravidla urˇcuj´ı struktury reprezentuj´ıc´ı ˇcasové v´ yrazy, které jsou následnˇe pouˇz´ıvány normalizaˇcn´ım modulem. Ten provád´ı v´ ybˇer, kter´ y urˇcuje a udrˇzuje referenˇcn´ı ˇcas pro relativn´ı rozliˇsen´ı, jeˇz je na zaˇca´tku brán jako datum vytvoˇren´ı ˇclánku a je postupnˇe aktualizován podle jednoduché heuristiky. Nejprve se nalezne nejbliˇzˇs´ı dˇr´ıvˇejˇs´ı analyzovan´ y ˇcasov´ y v´ yraz v téˇze vˇetˇe se stejnou u ´rovn´ı granularity. Znamená to, ˇze ˇcasové u ´daje v rámci dn˚ u nemohou b´ yt spojeny s datov´ ymi u ´daji v rámci let. Poté se pouˇz´ıvá referenˇcn´ı ˇcas na urˇcen´ı relativn´ıch ˇcasov´ ych u ´daj˚ u (timex) tak, ˇze prob´ıhá v´ ypoˇcet pˇresn´ ych kalendáˇrn´ıch hodnot a nakonec docház´ı k normalizaci, d´ıky které se jednoduˇse dostaneme k ˇcasu c´ılové události. Tato metoda je silnˇe ovlivnˇena pouze ˇcasov´ ymi v´ yrazy a nem˚ uˇzeme tak oˇcekávat správnou funkci u text˚ u s jinou ˇcasovou souvislost´ı.

4.1.6

Kompresn´ı a parafr´ azov´ e techniky

[Turchi et al.(2010)] empiricky dokazuje, ˇze lidské v´ ysledky sumarizace obsahuj´ı v pr˚ umˇeru v´ıce kratˇs´ıch vˇet neˇz v´ ysledky automatické sumarizace. Kompres´ı nebo pˇreformulován´ım bychom tak mohli prvotnˇe zkrátit celkov´ y v´ ysledek sumarizace a t´ım by vznikl prostor pro dalˇs´ı rozˇs´ıˇren´ı v´ ysledk˚ u s obsahem dalˇs´ıch potenciálnˇe d˚ uleˇzit´ ych vˇet. [Turchi et al.(2010)] také zkoumal moˇznosti jazykovˇe nezávisl´ ych postup˚ u pˇri dosahován´ı v´ yˇse zm´ınˇen´ ych c´ıl˚ u. Experimenty ukázali, ˇze takov´ yto pˇr´ıstup je moˇzn´ y. Systém je zaloˇzen na v´ ybˇeru nejv´ıce charakteristického v´ yrazu z kaˇzdé 18


Metody sumarizace

vˇety. Pro kaˇzd´ y v´ yraz je poˇc´ıtáno skóre z LSA, kde matice U obsahuje znázornˇen´ı pojmu v tématech a matice S obsahuje d˚ uleˇzitost tˇechto témat. Proto matice T = U ·S pˇredstavuje prostor ohodnocen´ y podle d˚ uleˇzitosti témat. Pro kaˇzd´ y v´ yraz i je vypoˇcteno skóre z ||ti ||. Kromˇe toho je vypoˇc´ıtán jazykov´ y model pravdˇepodobnosti pro 4-gramy. Skóre by mˇelo odráˇzet lokáln´ı d˚ uleˇzitost term´ınu v rámci datasetu a jazykov´ y model pravdˇepodobnosti udává globálnˇe d˚ uleˇzité term´ıny, napˇr´ıklad slovesa. Po normalizaci hodnot jednotliv´ ych pˇr´ıznak˚ u a jejich kombinován´ı dostaneme hodnoty, které reprezentuj´ı v´ yznam daného term´ınu ve vˇetˇe. Fináln´ı sekvence v´ yraz˚ u se skládá pˇribliˇznˇe ze 70% pojm˚ u a pokud dodáme napˇr´ıklad stopwords, dostaneme celou sekvenci v rozumnˇe ˇcteném tvaru.

4.1.7

Sumarizace zaloˇ zen´ a na LSA

Pˇr´ıstupy zaloˇzené na spoleˇcném v´ yskytu v´ yrazu (jako napˇr.: LSA) pˇredstavuj´ı dobr´ y základ pro budován´ı jazykovˇe nezávislého (nebo v´ıcejazyˇcného) sumarizátoru. Pˇr´ıstup LSA (Steinberger a Jeˇzek, 2009) nejprve vytvoˇr´ı matici jednotliv´ ych vˇet a obsaˇzen´ ych slov ze zdrojového textu, poté se aplikuje singulárn´ı rozklad (SVD – Singular Value Decomposition) a nakonec se v´ ysledné matice pouˇzij´ı k identifikaci a extrahován´ı nejd˚ uleˇzitˇejˇs´ıch vˇet. SVD nacház´ı skryté (ortogonáln´ı) dimenze, které, zjednoduˇsenˇe ˇreˇceno, odpov´ıdaj´ı r˚ uzn´ ym témat˚ um zdrojového textu. Detailnˇeji m˚ uˇzeme ˇr´ıci, ˇze konstruujeme matici A vˇet a slov v nich obsaˇzen´ ych. Kaˇzd´ y prvek odpov´ıdá váˇzené frekvenci daného v´ yrazu v dané vˇetˇe. Zab´ yváme se tedy m r˚ uzn´ ymi v´ yrazy a n r˚ uzn´ ymi vˇetami ze zkoumaného dokumentu tvoˇr´ıc´ı matici A o velikosti m × n. Prvek ai,j matice A pˇredstavuje váˇzenou frekvenci term´ınu i ve vˇetˇe j a tato váha je definována jako (4.1): ai,j = Li,j · Gi ,

(4.1)

kde Li,j je lokáln´ı váha term´ınu i ve vˇetˇe j a Gi je globáln´ı váha v´ yrazu i ve zdrojovém dokumentu. Bylo zjiˇstˇeno, ˇze nejlépe funguj´ı váhové systémy (Steinberger et al, 2007.) pouˇz´ıvaj´ıc´ı binárn´ı lokáln´ı váhu a globáln´ı váhu zaloˇzenou na entropii (4.2): Li,j = 1 kdyˇz se slovo i vyskytuje ve vˇetˇe j alespoˇ n jednou; jinak Li,j = 0,

19


Gi = 1 −

Metody sumarizace

j
pi,j log pi,j ti,j , pi,j = , log n gi

(4.2)

kde ti,j je frekvence term´ınu i ve vˇetˇe j, gi je celkov´ y poˇcet daného v´ yrazu vyskytuj´ıc´ıho se ve zdrojov´ ych datech a n je poˇcet zdrojov´ ych vˇet. Po tomto kroku je na v´ yˇse uvedenou matici aplikován singulárn´ı rozklad (SVD). Singulárn´ı rozklad matice m × n je definován jako (4.3): A = U · S · V T,

(4.3)

kde U(m × n) je sloupcovˇe ortonormáln´ı matice, jej´ıˇz sloupce naz´ yváme levé singulárn´ı vektory. Matice obsahuje znázornˇen´ı term´ın˚ u vyjádˇren´ ych v novˇe vytvoˇren´ ych dimenz´ıch. S(n × n) je diagonáln´ı matice, jej´ıˇz diagonáln´ı prvky jsou nezáporné singulárn´ı hodnoty ˇrazené v sestupném poˇrad´ı. VT (n×n) je ˇra´dková ortonormáln´ı matice, která obsahuje znázornˇen´ı vˇet vyjádˇren´ ych v novˇe vytvoˇren´ ych dimenz´ıch. Rozmˇery matic jsou redukovány na 0 0 0 r nejd˚ uleˇzitˇejˇs´ıch dimenz´ı a dostáváme tak matice U (m×r), S (r×r), V T (r× n). Hodnota r lze nastavit v závislosti na funkˇcnosti sumarizátoru. Dalˇs´ı moˇznost´ı je strojové uˇcen´ı r na tréninkov´ ych datech (Steinberger a Jeˇzek, 2009). Z matematického pohledu SVD mapuje m-rozmˇern´ y prostor urˇcen´ y matic´ı A do r-rozmˇerného singulárn´ıho prostoru. Z pohledu NLP SVD odvozuje latentn´ı sémantickou strukturu dokumentu reprezentovaného matic´ı A.: tj rozdˇelen´ı p˚ uvodn´ıho dokumentu do r lineárnˇe nezávisl´ ych základn´ıch vektor˚ u, které vyjadˇruj´ı základn´ı témata ze zdrojov´ ych dat. SVD um´ı zachytit vztahy mezi term´ıny tak, ˇze pojmy a vˇety mohou b´ yt rozdˇeleny na sémantické základy sp´ıˇse neˇz na základˇe pouh´ ych slov. Kromˇe toho v pˇr´ıpadˇe, ˇze se v datovém zdroji opakuje kombinace slov, bude tento jev zachycen a reprezentován jedn´ım ze singulárn´ıch vektor˚ u. Velikost odpov´ıdaj´ıc´ı singulárn´ı hodnoty urˇcuje m´ıru d˚ uleˇzitosti tohoto vzoru ve zdrojov´ ych datech. Vˇsechny vˇety obsahuj´ıc´ı danou kombinaci slov budou prom´ıtány do jednoho singulárn´ıho vektoru a vˇeta, která nejlépe reprezentuje tuto kombinaci bude m´ıt nejvˇetˇs´ı hodnotu indexu vektoru. Za pˇredpokladu, ˇze kaˇzdé konkrétn´ı slovn´ı spojen´ı popisuje urˇcité téma v dokumentu, m˚ uˇze b´ yt kaˇzd´ y singulárn´ı vektor vn´ımán jako reprezentant takového tématu (Ding, 2005). Velikost jeho singulárn´ı hodnoty pˇredstavuje m´ıru d˚ uleˇzitosti takového tématu. Matice VT obsahuje znázornˇen´ı vˇet v tématech LSA a S obsahuje d˚ u20


Sumarizace názor˚ u

leˇzitost tˇechto témat. Proto je jejich v´ ysledkem matice F = S · Vt , která reprezentuje vˇetn´ y latentn´ı prostor váˇzen´ y podle d˚ uleˇzitosti tématu. V´ ybˇer vˇety zaˇc´ıná mˇeˇren´ım délky vektoru vˇety v matici F. Délka vektoru m˚ uˇze b´ yt vn´ımána jako mˇeˇr´ıtko v´ yznamu této vˇety v rámci LSA témat. Vˇeta s nejvyˇsˇs´ım skóre je vybrána jako prvn´ı do celkového v´ ysledku (odpov´ıdaj´ıc´ı vektor v F je oznaˇcován jako fbest ). Po jeho um´ıstˇen´ı ve v´ ysledc´ıch je zobrazen´ı tématu/vˇet v matici F zmˇenˇeno odeˇcten´ım informace obsaˇzené v této vˇetˇe (4.4):

F (it+1) = F (it) −

T fbest · fbest · F (it) , ||fbest ||2

(4.4)

Délky vektor˚ u podobn´ ych vˇet jsou anulovány pro pˇr´ıpad, aby nebyly do souhrnu vybrány znovu a pˇredeˇslo se tak ke zbyteˇcné redundanci. Po anulován´ı informac´ı ve vybrané vˇetˇe pokraˇcuje proces u vˇety, která má nejvˇetˇs´ı skóre vypoˇctené na základˇe aktualizované matice F. Tento proces je iterativnˇe opakován do té doby, neˇz v´ ysledn´ y souhrn obsahuje poˇzadovan´ y poˇcet v´ ysledk˚ u.

4.2

Sumarizace n´ azor˚ u

Jak uvád´ı [Balahur et al.(2012)], dneˇsn´ı svˇet je velice ovlivnˇen sociáln´ımi s´ıtˇemi a weby a lidé na jejich základˇe produkuj´ı obrovské mnoˇzstv´ı dat vhodn´ ych k anal´ yze a sumarizaci. Vhodnost je zˇrejmá napˇr´ıklad pˇri marketingov´ ych pr˚ uzkumech apod. Jedn´ım z velk´ ych problém˚ u je opravdu velké mnoˇzstv´ı dat, které m˚ uˇzeme z´ıskat po zamˇeˇren´ı na konkrétn´ı téma, které nás zaj´ımá. standardnˇe by tak musel uˇzivatel prob´ırat tis´ıce a tis´ıce u ´ryvk˚ u nebo pˇr´ıspˇevk˚ u a utvoˇrit si sám vlastn´ı souhrn hlavn´ıch myˇslenek a poznatk˚ u. Je známo nˇekolik pˇr´ıstup˚ u jak se zamˇeˇrit konkrétnˇe na sumarizaci názor˚ u. V experimentu popsaném v [Balahur et al.(2012)] je urˇcován´ı sentimentu, tedy urˇcován´ı, zda pˇr´ıspˇevek nebo vˇeta obsahuje nˇejak´ y názor, rozdˇelován´ı do ˇctyˇr skupin. Tyto skupiny znázorˇ nuj´ı m´ıru názoru. M˚ uˇzeme je jednoduˇse pojmenovat jako pozitivn´ı, silnˇe pozitivn´ı, negativn´ı a silnˇe negativn´ı. K této anal´ yze jsou pouˇz´ıvány kombinace r˚ uzn´ ych slovn´ık˚ u. Hlavn´ı motivac´ı pro tuto metodu je jej´ı jednoduchost a snadné pouˇzit´ı.

21


4.2.1


Data

Základem pro takovou anal´ yzu a následnou sumarizaci je vhodn´ y v´ ybˇer dat. V experimentu byly vyuˇzity dva datové soubory. Prvn´ı z nich obsahoval blogové pˇr´ıspˇevky a jejich komentáˇre a druh´ y datov´ y soubor obsahoval recenze uˇzivatel˚ u britsk´ ych bank. Co se t´ yˇce blog˚ u a blogov´ ych pˇr´ıspˇevk˚ u, tak m˚ uˇzeme ˇr´ıci, ˇze se mnohdy jedná o ˇcinnost vzdˇelan´ ych lid´ı a nav´ıc je vˇetˇsinou takov´ yto blog zamˇeˇren na konkrétn´ı téma. To je ideáln´ı pˇr´ıleˇzitost pro jejich anal´ yzu tak, abychom dostali relevantn´ı souhrn z daného tématu od nˇekolika odborn´ık˚ u. Prvotn´ı motivac´ı a u ´spˇeˇsn´ ym pouˇzit´ım taky bylo nasazen´ı ke studiu v´ ysledku voleb nebo ke studiu kol´ısán´ı trˇzn´ıch cen akci´ı. K danému experimentu bylo vyuˇzito 51 blogov´ ych vláken psan´ ych v anglickém jazyce. Jejich struktura byla vˇzdy tvoˇrena hlavn´ım pˇr´ıspˇevkem autora a následn´ ymi reakcemi ostatn´ıch ˇctenáˇr˚ u, ˇc´ımˇz byla urˇcena v´ ysledná intenzita dané pˇr´ıspˇevku (n´ızká, stˇredn´ı nebo vysoká). Datov´ y soubor 89 bankovn´ıch hodnocen´ı byl pak u tohoto experimentu pouˇzit zejména ke kontrola správnosti pˇr´ıstupu k dané problematice.

4.2.2

Z´ akladn´ı anal´ yza n´ azor˚ u a sumarizace

Hlavn´ım c´ılem bylo navrˇzen´ı funguj´ıc´ıho systému, kter´ y vytvoˇr´ı kvalitn´ı souhrn z dvou v´ yˇse zm´ınˇen´ ych typ˚ u dat. Standardn´ı pˇr´ıstup je zaloˇzen na klasifikaci jednotliv´ ych pˇr´ıspˇevk˚ u podle názor˚ u a jejich následné sumarizaci. Blogové pˇr´ıspˇevky a komentáˇre byly postupnˇe tˇr´ıdˇeny do tˇr´ı samostatn´ ych skupin: vˇety obsahuj´ıc´ı pozitivn´ı názor, vˇety obsahuj´ıc´ı negativn´ı názor a neutráln´ı nebo objektivn´ı vˇety. Poté následuje ˇcinnost sumarizátoru, kter´ y samostatnˇe provede sumarizaci pozitivn´ıch a negativn´ıch vˇet. Takto oddˇelená sumarizace se provád´ı z d˚ uvodu zajiˇstˇen´ı dvou v´ ysledn´ ych souhrn˚ u. V opaˇcném pˇr´ıpadˇe by sumarizátor mohl urˇcit jako d˚ uleˇzité pouze vˇety z jedné nebo druhé skupiny. Z pohledu anal´ yzy názor˚ u bylo tedy prvotn´ım u ´kolem jejich roztˇr´ıdˇen´ı na negativn´ı a pozitivn´ı a následné numerické ohodnocen´ı d˚ uleˇzitosti (ˇc´ım vyˇsˇs´ı negativn´ı skóre, t´ım v´ıce negativn´ı vˇeta a naopak). Jelikoˇz tato klasifikace nebyla zamˇeˇrena na konkrétn´ı téma, ale byla provádˇena v obecném kontextu, bylo zapotˇreb´ı pouˇz´ıt v´ıce r˚ uzn´ ych slovn´ık˚ u tak, aby byly v´ ysledky co moˇzná nejlepˇs´ı. Kaˇzd´ y z pouˇzit´ ych zdroj˚ u byly namapovány do ˇctyˇr skupin s r˚ uzn´ ym skóre: pozitivn´ı (1), negativn´ı (-1), hodnˇe pozitivn´ı (4) a hodnˇe negativn´ı (22



4). V´ yhoda tohoto pˇr´ıstupu je jeho jednoduchost a moˇznost vyuˇzit´ı i pro dalˇs´ı svˇetové jazyky. Nav´ıc bylo prokázáno, ˇze tato metoda zm˚ uˇze u novinov´ ych citac´ı dosáhnout u ´spˇeˇsnosti aˇz 82 Nyn´ı pˇricház´ı na ˇradu ˇca´st sumarizace, pro kterou byla v experimentu vyuˇzita LSA (v´ıce v kapitole Sumarizace zaloˇzená na LSA).

4.2.3

Sumarizace zaloˇ zen´ a na intenzitˇ e n´ azoru

Oproti v´ yˇse zm´ınˇené metodˇe je tato ˇca´st zamˇeˇrena na zkoumán´ı vlivu intenzity názoru na v´ yslednou sumarizaci. Jin´ ymi slovy ˇreˇceno je c´ılem zkoumán´ı, jestli velmi pozitivn´ı nebo velmi negativn´ı vˇety charakterizuj´ı v´ ysledn´ y souhrn nebo nikoliv. Pro testován´ı tohoto jednoduchého principu zaloˇzeného na myˇslence, ˇze velice intenzivn´ı názory jsou také velice vypov´ıdaj´ıc´ı je zapotˇreb´ı tˇr´ı d˚ uleˇzit´ ych ˇca´st´ı: systém pro anal´ yzu názor˚ u produkuj´ıc´ı také jednotlivé intenzity, sumarizátor zohledˇ nuj´ıc´ı tyto intenzity a referenˇcn´ı korpus anotovan´ ych dat. U experimentu [Balahur et al.(2012)] byla vyuˇzita v´ yˇs zm´ınˇená základn´ı anal´ yza názor˚ u s t´ım, ˇze je algoritmus doplnˇen o ˇrazen´ı komentáˇr˚ u podle intenzity pro danou polaritu a následnˇe se vyb´ırá vˇzdy komentáˇr s nejvyˇsˇs´ım skóre. Po otestován´ı tohoto pˇr´ıstupu bylo zjiˇstˇeno, ˇze tento pˇr´ıstup nen´ı zcela reprezentativn´ı a proto je dobré ho kombinovat s dalˇs´ımi funkcemi.

4.2.4

Sumarizace zaloˇ zen´ a na t´ ematu anal´ yzy n´ azor˚ u a s´ emantick´ ych informac´ı

Pokud se zamˇeˇr´ıme na sumarizaci v obecném kontextu, nejsou v´ ysledky aˇz tak dobré ([Balahur et al.(2012)]). Nicménˇe, pokud se jedná o kladn´ y nebo záporn´ y názor, v celkovém hodnocen´ı se objevil. Objevovaly se ale také pˇr´ıspˇevky, které byly zcela irelevantn´ı. Je pro nás proto d˚ uleˇzité, aby kaˇzd´ y pˇr´ıspˇevek, kter´ y se dostane do v´ ysledné sumarizace byl zamˇeˇren na konkrétn´ı téma. K anal´ yze byla poˇzita LSA (latentn´ı sémantická anal´ yza) a byly vu ´vahu oproti jin´ ym experiment˚ um sémantické informace. Anal´ yza názor˚ u je zde provádˇena stejn´ ym zp˚ usobem jako v´ yˇse. Znamená 23



to, ˇze byly vybrané zdroje mapovány do ˇctyˇr skupin (pozitivn´ı, negativn´ı, vysoce pozitivn´ı a vysoce negativn´ı). Kaˇzdé této skupinˇe pak byly pˇriˇrazeny ˇc´ıselné hodnoty (tedy ve stejném poˇrad´ı 1, -1, 4, -4). Ve druhé fázi byly pomoc´ı LSA odfiltrovány pouze pˇr´ıspˇevky spojené z dan´ ym tématem a postupnˇe jako v pˇredchoz´ım postupu byly urˇceny skóre tˇechto vybran´ ych pˇr´ıspˇevk˚ u. Pro systém sumarizace byla pouˇzita stejná metoda jako v´ yˇse, tedy sumarizace zaloˇzená na LSA. Zde se vˇsak nav´ıc poˇc´ıtá se sémantick´ ymi informacemi kombinuj´ıc´ı nˇekolik vlastnost´ı zdroj˚ u jako jsou lexikáln´ı informace nebo informace o jednotliv´ ych subjektech. Oproti základn´ı metodˇe je tedy vstupn´ı matice do LSA rozˇs´ıˇrená o tyto informace, jak´ ymi jsou napˇr´ıklad synonyma a dalˇs´ı vlastnosti. [Balahur et al.(2012)] také uvád´ı, ˇze tento obecn´ y postup, kdy nejprve docház´ı k anal´ yze pˇr´ıspˇevk˚ u v závislosti na obsahu subjektivn´ıho názoru a následné sumarizaci je motivován lepˇs´ımi v´ ysledky. V opaˇcném pˇr´ıpadˇe se totiˇz tak dobr´ ych v´ ysledk˚ u nedosahuje.

24

5 Sumarizátor názor˚ u na Facebooku 5.1

Architektura

Cel´ y software je rozdˇelen do pˇeti hlavn´ıch ˇcást´ı (bal´ık˚ u - packages). • App - obecná ˇca´st reprezentuj´ıc´ı hlavn´ı bˇeh celé aplikace. • Facebook - bal´ık obsahuj´ıc´ı veˇskerou komunikaci s facebookem a tˇr´ıdu reprezentuj´ıc´ı z´ıskaná data. • GUI - zajiˇstˇen´ı grafického rozhran´ı aplikace. • Sent - bal´ık obsahuj´ıc´ı tˇr´ıdy zamˇeˇrené na ˇca´st aplikace zajiˇst’uj´ıc´ı v´ ybˇer sentimentu. S t´ım souvis´ı také reprezentace jednotliv´ ych slovn´ık˚ u. ˇ sen je zde cel´ • Summ - ˇca´st zamˇeˇrená na samotnou sumarizaci. Reˇ y algoritmus sumarizátoru i s jeho pomocn´ ymi tˇr´ıdami. Na obrázku 5.1 je vidˇet náhled UML diagramu architektury.

5.2

Implementace

Celou aplikaci m˚ uˇzeme rozdˇelit na ménˇe zaj´ımavé a obecné ˇca´sti a na zaj´ımavˇejˇs´ı a d˚ uleˇzité kusy, které detailnˇeji rozebereme. Mezi obecné ˇca´sti patˇr´ı bal´ık App, ve kterém je implementována metoda Main() a volaj´ı se zde dalˇs´ı d˚ uleˇzité metody z ostatn´ıch bal´ık˚ u. Zde je dobré zm´ınit, ˇze pro v´ yvoj celé aplikace bylo pouˇzito v´ yvojové prostˇred´ı Eclipse KEPLER za pouˇzit´ı knihovny SWING pro vytvoˇren´ı grafického rozhran´ı aplikace. Vˇse je implementováno v jazyce Java 1.7. Pro vytvoˇren´ı diagramu UML byla pouˇzita aplikace Altova UModel.

5.2.1

Implementace anal´ yzy sentimentu

Veˇskeré tˇr´ıdy a pouˇzité algoritmy pro anal´ yzu sentimentu obsahuje bal´ık Sent. Jako hlavn´ı mus´ıme zm´ınit tˇr´ıdu Sentiment.java definuj´ıc´ı algoritmy 25

Sumarizátor názor˚ u na Facebooku

Implementace

Obrázek 5.1: Náhled UML diagramu reprezentuj´ıc´ı architekturu celé aplikace

26


Implementace

a postupy anal´ yzy sentimentu. Prvn´ı d˚ uleˇzitou bodem je volán´ı metody setDictionaries, která má za u ´kol inicializovat veˇskeré slovn´ıky potˇrebné pro anal´ yzu sentimentu. V naˇsem pˇr´ıpadˇe se jedná o inicializaci slovn´ık s kladn´ ymi v´ yrazy, záporn´ ymi v´ yrazy, extra kladn´ ymi v´ yrazy, extra záporn´ ymi v´ yrazy a se stopwords. Slovn´ıky maj´ı svoji strukturu a samozˇrejmˇe také implementovanou zm´ınˇenou metodu pro jejich inicializaci. Metoda je velice jednoduchá, postupnˇe projde textov´ y soubor daného slovn´ıku a vloˇz´ı kaˇzd´ y prvek do vytvoˇreného pole typu ArrayList. Od této doby tedy m˚ uˇzeme pracovat s tˇemito slovn´ıky v rámci urˇcován´ı sentimentu. Nyn´ı se dostáváme k vyuˇzit´ı ˇctyˇr promˇenn´ ych tˇr´ıdy Sentence.java. Ve tˇr´ıdˇe Sentiment.java je vyuˇz´ıvána metoda reduceToSentiment, která má za u ´kol proj´ıt celé pole objekt˚ u reprezentuj´ıc´ı jednotlivé pˇr´ıspˇevky a inkrementovat danou promˇennou pˇri kaˇzdém v´ yskytu nˇejakého slova ve slovn´ıku. Takto se nám zaktualizuj´ı hodnoty tˇechto ˇctyˇr promˇenn´ ych, které budou rozhoduj´ıc´ı pro koneˇcnou anal´ yzu sentimentu. Koneˇcnˇe se dostáváme k nejd˚ uleˇzitˇejˇs´ım metodám a to k getPosSentiment pro vyjádˇren´ı kladn´ ych názor˚ u a getNegSentiment pro vyjádˇren´ı záporn´ ych názor˚ u. Urˇcován´ı takto názorovˇe zabarven´ ych pˇr´ıspˇevk˚ u je pouˇzito právˇe hodnot dan´ ych ˇctyˇrmi promˇenn´ ymi (p, n, hp, hn) tˇr´ıdy Sentence.java reprezentuj´ıc´ı jednotlivé pˇr´ıspˇevky. Metoda zkoumá vˇsechny ˇctyˇri hodnoty a urˇcuje tak podm´ınky, za kter´ ych obsahuje pˇr´ıspˇevek kladn´ y nebo záporn´ y názor. Tyto podm´ınky byly v rámci experimentu obmˇen ˇovány a ladˇeny. Pˇr´ıkladem vˇsak m˚ uˇzeme ukázat jednu z pouˇzit´ ych podm´ınek v´ ybˇeru pˇr´ıspˇevk˚ u s negativn´ım názorem. public ArrayList<Sentence> getNegSentiment(){ neg = new ArrayList<Sentence>(); for (int i=0; i<arr.size(); i++){ if(((arr.get(i).n > 1)||(arr.get(i).hn > 1)) && ((arr.get(i).p < 3)||(arr.get(i).hp < 3))){ neg.add(arr.get(i)); } } return neg; }

27


5.2.2

Implementace

Implementace automatick´ e sumarizace

Celkovˇe bal´ık summ obsahuj´ıc´ı vˇse potˇrebné pro samotnou sumarizaci obsahuje tˇri tˇr´ıdy, Feature.java, SentenceFeature.java a nejd˚ uleˇzitˇejˇs´ı Summarize.java. Z pohledu sumarizace je tedy ned˚ uleˇzitˇejˇs´ı metoda summ(), ve které je kompletnˇe obsaˇzen algoritmus sumarizace zaloˇzené na LSA. Tato metoda se volá v hlavn´ı tˇr´ıdˇe a konstruktorem tohoto objektu sumarizátoru je ArrayList naplnˇen´ y jednotliv´ ymi pˇr´ıspˇevky. V prvn´ı fázi se v této metodˇe volá pomocná metoda setFeatures, která vytvoˇr´ı seznam unikátn´ıch v´ yraz˚ u (tˇr´ıda Features.java) vyjma slov ze slovn´ıku stopwords a zároveˇ n u kaˇzdého takového slova pˇri procházen´ı aktualizuje ˇc´ıtaˇc reprezentuj´ıc´ı celkov´ y poˇcet v´ yskytu daného slova v analyzovaném datasetu. Tento seznam nám poté tvoˇr´ı y-ovou souˇradnici potˇrebné matice. Druh´ yu ´kol této metody je inicializace a naplnˇen´ı pole typu ArrayList objekty tˇr´ıdy SentenceFeatrue.java vyjadˇruj´ıc´ı jednotlivé pˇr´ıspˇevky na x-ové souˇradnici potˇrebné matice a tato matice nám tak ukazuje v´ yskyt jednotliv´ ych slov v dan´ ych pˇr´ıspˇevc´ıch. Následuje vypoˇcten´ı hodnoty kaˇzdého prvku matice. Znamená to, ˇze poˇc´ıtáme váhu (d˚ uleˇzitost) jednotliv´ ych slov. K tomu je urˇcena metoda getCluEntWeight, která je vytvoˇrena v návaznosti na adekvátn´ı vzorec 4.2. private static double getCluEntWeight(double sentences, String word, double cluFreq) { double sum = 0; for (int i=0; i<sentenceFeatures.size();i++){ if (sentenceFeatures.get(i).getWord().equals(word) == true){ double p = sentenceFeatures.get(i).getFreq() / cluFreq; sum = sum + (p*Math.log(p)); } } return(1 - sum/Math.log(sentences)); } Následuje normalizace vzniklé matice a následn´ y singulárn´ı rozklad, jenˇz je implementován v dodané knihovnˇe jama.jar poskytnuté Ing. Josefem Steinbergerem Ph.D. Vzniklé matice následnˇe zredukujeme. Posledn´ım velk´ ym krokem je samotné vybrán´ı vˇet do v´ ysledné sumari28


Implementace

zace. To prob´ıhá tak, ˇze se vyb´ırá vˇeta s nejdelˇs´ım vektorem. Následnˇe mus´ıme u této vˇety (tématu) zaruˇcit, aby se nám do v´ ysledku nedostala znovu. K tomu slouˇz´ı pomocná metoda substractColumn, která je zaloˇzena na vzorci 4.4. private static Matrix subtractColumn(Matrix F, int chosenIndex) { Matrix newF = new Matrix(F.getRowDimension(), F.getColumnDimension()); // v´ ypoˇ cet druh´ e mocniny d´ elky nejlepˇ sı ´ho vektoru double len = 0; for (int i=0; i
5.2.3

Implementace rozhran´ı pro Facebook

Vzhledem k tomu, ˇze v naˇsem pˇr´ıpadˇe je automatick´ y sumarizátor názor˚ u zamˇeˇren na anal´ yzu pˇr´ıspˇevk˚ u z facebookov´ ych stránek, jedná se o velice d˚ uleˇzitou ˇca´st. Pro komunikaci a extrahován´ı pˇr´ıspˇevk˚ u z facebookov´ ych stránek bylo 29


Implementace

pouˇzito rozhran´ı Facebook4J API (http://facebook4j.org/). Toto rozhran´ı je zcela vyhovuj´ıc´ı a pˇripravené pro veˇskeré potˇreby automatického sumarizátoru. Bal´ık facebook tedy obsahuje tˇr´ıdu Join.java reprezentuj´ıc´ı samotné rozhran´ı a komunikaci s Facebookem. Zjednoduˇsenˇe m˚ uˇzeme ˇr´ıci, ˇze k navázán´ı komunikace je zapotˇreb´ı tzv tokenu, coˇz je unikátn´ı identifikace uˇzivatele nebo aplikace, jej´ıˇz pomoc´ı docház´ı k extrahován´ı pˇr´ıspˇevk˚ u a komentáˇr˚ u. Druhou podstatnou vˇec´ı je identifikace facebookové stránky, která m˚ uˇze b´ yt implementaˇcnˇe ˇreˇsena pˇr´ımo pomoc´ı názvu stránky (URL) nebo jako v naˇsem pˇr´ıpadˇe pomoc´ı identifikaˇcn´ıho ˇc´ısla. Následnˇe uˇz jen docház´ı k navázán´ı komunikace a za pomoci metod getFeed a getMessage dostaneme urˇcen´ y poˇcet hlavn´ıch status˚ u, ze kter´ ych m˚ uˇzeme extrahovat jeˇstˇe komentáˇre a odpovˇedi metodou getComments. Druhou d˚ uleˇzitou tˇr´ıdou je Sentence.java, která reprezentuje strukturu pˇr´ıspˇevku i s jeho náleˇzit´ ymi vlastnostmi. Obsahuje tedy hlavnˇe ID, coˇz je unikátn´ı identifikaˇcn´ı ˇc´ıslo, d´ıky kterému m˚ uˇzeme dan´ y pˇr´ıspˇevek v jakémkoliv stavu aplikace jednoznaˇcnˇe identifikovat. Toto ˇc´ıslo je také velice d˚ uleˇzité pro anal´ yzu sentimentu a následnou sumarizaci. Samozˇrejmost´ı tˇr´ıdy Sentence.java je promˇenná text, která je typu String a reprezentuje samotn´ y text pˇr´ıspˇevku. Nesm´ıme zapomenout také na ˇctyˇri promˇenné (p, n, hp, hn), které jsou typu Integer a pˇri extrahován´ı pˇr´ıspˇevku vytváˇr´ıme objekt této tˇr´ıdy, jehoˇz startovn´ı hodnoty zm´ınˇen´ ych ˇctyˇr promˇenn´ ych jsou nulové. Znaˇc´ı totiˇz poˇcet slov z kaˇzdého ze ˇctyˇr slovn´ık˚ u se kter´ ymi se ovˇsem pracuje aˇz pˇri urˇcován´ı sentimentu. Na závˇer jeˇstˇe mus´ıme pˇripomenout dalˇs´ıch nˇekolik promˇenn´ ych, které jsou v této struktuˇre pˇripraveny pro práci s korpusem, ale ve standardn´ım reˇzimu je nepouˇz´ıváme. Tato implementace je z uˇzivatelského pohledu u ´zce spojená s uˇzivatelsk´ ym rozhran´ım celé aplikace. Ta byla navrˇzena tak, aby byla co moˇzná njesnadnˇeji ovladatelná a hlavnˇe pˇrehledná. Uˇzivateli byla poskytnuta také moˇznost nastaven´ı velikosti v´ ysledné sumarizace. Náhled celé aplikace m˚ uˇzete vidˇet na obrázku 5.2. Je vidˇet, ˇze rozm´ıstˇen´ı jednotliv´ ych v´ yˇct˚ u je velice logické a nav´ıc jsou uˇzivateli dodávány statistické informace z jednotliv´ ych stádi´ı procesu anal´ yzy. Rozhran´ı tak zcela pˇrehlednˇe ukazuje veˇskeré pˇr´ıspˇevky extrahované z dané facebookové stránky, které jsou pak analyzovány z pohledu obsahu subjektivn´ıho názoru. Tyto názory jsou pak v aplikaci pˇrehlednˇe rozdˇeleny na kladné a záporné. Nakonec aplikace ukazuje skuteˇcnou v´ yslednou kladnou i zápornou sumarizaci opˇet v oddˇelen´ ych listech.

30


Testován´ı aplikace

Obrázek 5.2: Náhled automatického sumarizátoru názor˚ u na Facebooku

5.3

Testov´ an´ı aplikace

Celá aplikace je velice jednoduˇse pˇripravena k okamˇzitému pouˇzit´ı a byla v reálu otestována na nˇekolika facebookov´ ych stránkách s r˚ uzn´ ym zamˇeˇren´ım a r˚ uzn´ ym stylem testován´ı. Jako uˇzivatel sociáln´ı s´ıtˇe Facebook mám manaˇzerská práva k nˇekolika veˇrejn´ ym i testovac´ım stránkám. Veˇskerá funkˇcnost tak mohla b´ yt testována na veˇrejn´ ych stránkách z pˇr´ıspˇevky r˚ uzn´ ych uˇzivatel˚ u, ale mohla b´ yt testována také na soukrom´ ych testovac´ıch facebookov´ ych stránkách s moˇznost´ı ovlivnˇen´ı obsahu. Explicitnˇe pak byly otestovány facebookové stránky iDnes.cz, Nokia.cz) a

5.3.1

Nokia

Stránky byly vybrány zejména z d˚ uvodu velkého poˇctu názor˚ u, jelikoˇz je známe, ˇze spoleˇcnost Nokia se v oˇc´ıch uˇzivatel˚ u nejev´ı zcela d˚ ustojnˇe. V tabulce 5.1 m˚ uˇzeme vidˇet statistiky z konkrétn´ıho pouˇzit´ı pˇri zamˇeˇren´ı na posledn´ıch 40 status˚ u a nastaven´ı délky sumarizace na 500 slov. Konkrétnˇe byly do v´ ysledné kladné sumarizace vybrány tyto pˇr´ıspˇevky: • ”Obl´ıben´ ych aplikac´ı je nˇekolik. Vzhledem k tomu, ˇze mám Lumii 1020, tak zejména fotoaplikace. Krom tˇech od Nokie jsem si obl´ıbil HDR 31



Photo Cameru, která zvládá skvˇelé HDR sn´ımky a po vyzkouˇsen´ı v´ıcero aplikac´ı pro HDR ji mohu smˇele oznaˇcit za jednu z nejlepˇs´ıch na Storu v tomto oboru a v tuto dobu. Dále jsem si obl´ıbil fotoeditory Fhotoroom a Fotor. V tom prvém si ˇclovˇek m˚ uˇze velmi dobˇre vyhrát s nastaven´ım parametr˚ u a krom r˚ uzn´ ych obligátn´ıch efekt˚ u m˚ uˇze smˇele upravovat i parametry jako vyváˇzen´ı st´ın˚ u a svˇetel, korekce barevnosti a expozice, atd., takˇze fotky si ˇcasto uprav´ıte velmi dobˇre pˇr´ımo v telefonu a nemus´ıte je uˇz dále upravovat v poˇc´ıtaˇci. Fotor se zamˇeˇruje zejména na efekty, ale pro urˇcité operace je rychlejˇs´ı, neˇz Fhotoroom a nav´ıc um´ı i hezké koláˇze. Dalˇs´ı obl´ıbenou aplikac´ı se stalo YouRadio, které umoˇznuje zdarma streamovat muziku dle vybran´ ych ”nálad”a jeˇstˇe si uloˇzit aˇz dvˇe hodiny pro off-line poslech, kdyˇz je ˇclovˇek tˇreba venku a nemá zrovna ideáln´ı FUP na datovém bal´ıˇcku. Nálady si lze tvoˇrit vlastn´ı a muziku si tak naladit pˇresnˇe dle mého gusta. V´ yborn´ ymi aplikacemi ˇ jsou ˇceské Bouˇrky s vˇzdy aktuáln´ım stavem meteoradar˚ u nad Ceskem, tak pˇredpovˇedn´ı Meteoservis. Pro ˇcten´ı novinek pouˇz´ıvám uˇz od WP7 skvˇelou ˇcteˇcku Nextgen Reader s n´ıˇz se ˇclovˇek v RSS neztrat´ı a má stále aktuáln´ı pˇrehled o dˇen´ı v tom, co jej zaj´ımá. Pro sledován´ı YouTube videa dobˇre poslouˇz´ı aplikace MetroTube, nebo YouTube HD, byt’ v IE11 ve WP8.1 uˇz lze video pˇrehrávat skvˇele i pˇr´ımo v prohl´ıˇzeˇci. Ve svˇetˇe mezimˇestské dopravy vˇzdy spolehlivˇe porad´ı WMM J´ızdn´ı ˇrády a v terénu pak zase Mapy.cz od Seznamu. Pˇred span´ım si rád pust´ım nˇejaké ty uklidˇ nuj´ıc´ı tóny a skvˇele se us´ıná tˇreba s aplikacemi Sleep, nebo Sleep Bug. Zkrátka a dobˇre - nen´ı pravda, ˇze by na Storu bylo málo aplikac´ı. Naj´ıt velmi dobré aplikace se daj´ı a kdyby hoˇsi v MS jeˇstˇe trochu v´ıce mákli na odstranˇen´ı, nebo alespoˇ n odfiltrován´ı ”balastu”, bylo by hledán´ı ve Storu opravdu radost´ı. Tˇeˇs´ım se, ˇze s oficiáln´ım pˇr´ıchodem WP8.1 se poˇcet kvalitn´ıch aplikac´ı zase zvedne a padnou tak i posledn´ı argumenty odp˚ urc˚ u Windows Phone :).” • ”Dobr´ y den, dobre pokud to dobre chápu, tak by mela byt záruka platna. Podle toho imei se mi nav´ıc na Vaˇsich stránkách objev´ı v zaruce v této zemi. Ale potˇreboval bych vedet, jak bych postupoval pˇri pripadne reklamaci, kdyˇz nemam zarucni list ani doklad o koupi. Jestli si jen v servise podle ˇc´ısla najdou jestli je v zaruce, a tak to staˇc´ı. Dekuji za odpovˇed’.” • ”Prosim Vas, nehrajte si tu na chytreho. Psal jsem, ze je mnoho vsriant. Chtel bych Vas videt vyvijet aplikace. To by asi byla sranda co? Ja to delam uz dost dlouho. Nokia je dobra a se svoji Lumii 1020 i 1520 jsem spokojen.” 32



• ”hezké lumie :) snad poprvé v ˇzivotˇe nˇeco vyhraju :) máte moc hezkou a informativn´ı stránku :) a pˇeknou soutˇeˇz kterou jsem udˇelal :)” M˚ uˇzeme vidˇet, ˇze do kladné sumarizace se dostaly vcelku zaj´ımavé a z velké ˇcásti opravdu kladné názory, které nám zjednoduˇsenˇe mohou pomoci udˇelat si obrázek o aktuáln´ıch pozitivech znaˇcky. Nyn´ı se pod´ıvejme na v´ ysledky záporné sumarizace: • ”Jedn´ım z d˚ uvod˚ u, proˇc jsem si poˇr´ıdil Lumii byla offline navigace HERE Drive. Vˇetˇsinou staˇc´ı, ale bohuˇzel k dokonalosti j´ı chyb´ı jeˇstˇe hodnˇe (nejv´ıce mi vad´ı chybˇej´ıc´ı navigace v pruz´ıch, podivné hláˇsky drˇzte se vlevo/vpravo a nemoˇznost zadat pr˚ ujezdn´ı m´ısta). Skvˇelá je aplikace Lidé, která je v podstatˇe automaticky provázaná s m´ ym online adresáˇrem a sociáln´ımi s´ıtˇemi. To pro mne bylo velmi pˇr´ıjemné pˇrekvapen´ı. Velmi také oceˇ nuji fotoaplikaci NOKIA Camera, Jej´ı ovládán´ı a funkce nemaj´ı chybu a neznám nic lepˇs´ıho. M´ıt toto i na svém fot’áku, to by bylo nˇeco :-) A OneDrive, to asi ani nemus´ım rozvádˇet. Poˇr´ıdil jsem si i tablet Nokia Lumia 2520 (trochu krkolomnˇe ze zahraniˇc´ı) právˇe kv˚ uli provázanosti s PC a mobilem a Nokia aplikac´ım.” • ”Dobr´ y den, tyto pot´ıˇze se t´ ykaj´ı u ´ˇctu Windows Live, proto m˚ uˇze b´ yt nutné upravit nastaven´ı propojen´ ych sluˇzeb Live pro Facebook: Pˇrejdˇete na web http://Live.com a pˇrihlaste se do svého Windows Live uˇctu.Vyberte propojené sluˇzby Windows Live.Vyberte sluˇzbu Facebook a podle pokyn˚ u sluˇzbu propojte. Zkuste v nastaven´ı u ´ˇct˚ u v telefonu zapnout u ´ˇcet sluˇzby Facebook. Zvolte moˇznost Start > Nastaven´ı > e-mail+´ uˇcty Co se t´ yˇce pˇreruˇsován´ı hovor˚ u, doporuˇcujeme vyzkouˇset, zda pˇristroj bude normálnˇe fungovat s jinou SIM kartou. V pˇr´ıpadˇe, ˇze je to pot´ıˇz na stranˇe SIM karty, obrat’te se na svého telefonn´ıho ˇ a republika” operátora, aby Vám kartu vymˇenil. Nokia Cesk´ • ”Dobr´ y den, chci si koupit bluetooth headset Nokia BH-112U. Jak dlouho vydrˇz´ı headset spárovan´ y s mobilem? Jde mi o to, aby kdyˇz ho ráno spáruji s mobilem (Lumia 620), tak aby vydrˇzel spárovan´ y cel´ y den, resp. pracovn´ı dobu. Kdyˇz mi bude nˇekdo volat, aby pokaˇzdé ˇslo hovor pˇrijmout headsetem a nemusel jsem ˇsahat na mobil. Znám´ y má headset HB-108 na Lumii 820 a po nˇejaké dobˇe od spárován´ı se toto zruˇs´ı a mus´ı headset znovu s mobilem spárovat, coˇz je problém. Tak jestli to je chyba jeho kusu nebo to je dáno technologi´ı a má to tak kaˇzd´ y headset? Dˇekuji.” 33



• ”Dobr´ y den mám tady takovou pikantnost.... Jde o reklamaci Nokia Lumia 1520.. byl jsem v obchodˇe kde jsem ji koupil. je na ni vadn´ y pixel.... 1 . No a oni mˇe ˇrekli ˇze do tˇr´ı pixel˚ u je to unosné... :( :( Moc dobˇre vˇedˇeli ˇze je to Nokia z Polska.... poslali fotku do Olomouce a dneska mˇe ˇrekli ˇze prostˇe neuznaj´ı reklamaci..... Mrz´ı mˇe to dost zklamala mˇe Nokia..... :( :(” Opˇet je moˇzno vidˇet, ˇze se do v´ ysledné záporné sumarizace dostaly z velké ˇcásti opravdu záporné názory, které nám naznaˇcuj´ı hlavn´ı problémy dneˇsn´ıch uˇzivatel˚ u produkt˚ u spoleˇcnosti Nokia. M˚ uˇzeme zde také pozorovat, ˇze zde správnˇe funguje nastaven´ı anal´ yzy názor˚ u, jelikoˇz u pˇr´ıspˇevk˚ u m˚ uˇzeme vidˇet osloven´ı ”dobr´ y den”, jenˇz ovˇsem na zaˇrazen´ı mezi záporné názory nemˇelo vliv.

5.3.2

iDnes.cz

Zamˇeˇren´ı portálu iDnes je hlavnˇe na aktuáln´ı dˇen´ı u nás i ve svˇetˇe a je tak moˇzné v sumarizaci oˇcekávat pˇr´ıspˇevky zamˇeˇrené právˇe na témata posledn´ıch dn´ı. Pˇri tomto testován´ı byla nastavena délka v´ ysledné sumarizace na 200 slov. Statistické u ´daje m˚ uˇzete vidˇet v tabulce 5.1. Kladná sumarizace: • ”Je evidentn´ı, ˇze máme pˇr´ıliˇs mnoho politick´ ych stran, hnut´ı a r˚ uzn´ ych uskupen´ı. Bylo by v´ıce neˇz ˇza´douc´ı aby si strany na svoj´ı existenci zaˇcaly vydˇelávat bez u ´ˇcasti daˇ nov´ ych poplatn´ık˚ u. Kvalita naˇseho ˇzivota totiˇz rozhodnˇe neodpov´ıdá poˇctu stran ani jejich volebn´ım program˚ um. Aˇz na prvn´ım m´ıstˇe jsou pen´ıze, i takto lze chápat mnoˇzstv´ı politick´ ych subjekt˚ u. Zvláˇstˇe, kdyˇz ˇzij´ı a funguj´ı na základˇe nikoli sv´ ych finanˇcn´ıch prostˇredk˚ u. Eurovolby jsou pro nˇe zvláˇstˇe v´ıtan´ ym prostˇredkem k z´ıskán´ı financ´ı. V pˇr´ıpadˇe minimáln´ıho u ´spˇechu dostanou sluˇsné pen´ıze a nav´ıc v pˇr´ıpadˇe zvolen´ı do Evropského parlamentu i moˇznost zaˇs´ıt se ˇ do instituce, kde na nˇe nebude z Cech aˇz tolik vidˇet. Nav´ıc, kdyˇz se dá pˇredpokládat n´ızká volebn´ı u ´ˇcast. Je to od stran moudré a chytré, ne vˇsak uˇz tak pro obˇcany této zemˇe. Ale ptá se jich tu v˚ ubec jeˇstˇe nˇekdo na nˇeco? Mysl´ım, ˇze ne.” • ”Bylo to samo´ uˇcelné a tud´ıˇz to nemˇelo s karikaturou nic spoleˇcného, jen s pomluvou. V tom má Petra Paroubková naprostou pravdu! Mysl´ım 34



ten obrázek v Reflexu!” • ”A 1000x v´ıc havárii zavinili lide co byli stˇr´ızliv´ı a nebyli pod vlivem. Tud´ıˇz je statisticky lepˇs´ı jezdit ozralej a nafetovanej pak je menˇs´ı pravdˇepodobnost havarie :-D” M˚ uˇzeme vidˇet, ˇze jednoznaˇcnost kladn´ ych názor˚ u nen´ı zcela tak jasná jako u stránek Nokia. Je to dáno pˇredevˇs´ım t´ım, ˇze zde lidé reaguj´ı opravdu na velké mnoˇzstv´ı aktuáln´ıho dˇen´ı a tak nem˚ uˇzeme oˇcekávat, ˇze se v sumarizaci objev´ı nˇejak´ y názor pˇr´ımo na portál iDnes. I pˇresto je vˇsak vidˇet, ˇze se do sumarizace dostaly pˇr´ıspˇevky zcela tématicky r˚ uznorodé, coˇz naznaˇcuje správnost funkce sumarizátoru z pohledu jeho funkˇcnosti. Záporná sumarizace: • ”Je to vlaˇstni jak kdejaké neˇradstvoo ppostupˇ né ziska vá i pˇriznivce nebo prosté tolerovani..Dokonce by nékteˇri sohlasli s legalisaci. Ale otazka je proˇc zdravi ˇclovék potˇrebujé drogu? Odpovéd je prosta je to jedinec,ktery ztratil soudnost sam nad sebou a pak je mu jedno jak jeho jednani ovlivni tˇreba i ˇzivot jiného.Jak takoveto jedince pˇrivest na normalni uvaˇzovani,prosté. Za smrt smrt! Ostatni by pochopili velice rychle ˇze pit nebo drogovat se prpstˇe pˇri ˇrizeni nesmi. Kdyˇz v Norsko jede opilec a bez nehody skonˇci na 3 roky v base. V ˇceske rep. Jede na rekraci na svou chalupu v zamoˇri a nejde ani k soudu.( Janouˇsek a pod). Tak ˇze se dál budeme tˇeˇsit na dalˇsi silniˇcni tragedie.vˇec mˇe pˇrijde tako a´ ˇze si nej ic oˇzrali a sfetovany jezdi zakonodarci proto se zakon na tvrdé tresty nedostavaji na program dne” • ”Kdyby se uˇz koneˇcnˇe zaˇcalo nˇeco dˇelat se zlodˇeji a podobn´ ymi, kter´ ych je náˇs stát pln´ y. Miliardy jsou v pr...i, ale chytaj´ı se malé ˇcudly a velryby ˇ si klidnˇe plavou dál. Je mi z toho naˇseho Ceska na blit´ı.” • ”Já si prvnˇe myslel, ˇze je to pˇrepaden´ı nebo teroristickej u ´tok.” Zde m˚ uˇzete jasnˇe opˇet pozorovat r˚ uznorodost pˇr´ıspˇevk˚ u a je zde v´ıce markantn´ı v´ ybˇer opravdu záporn´ ych názor˚ u, které shrnuj´ı urˇcit´ y pohled na danou vˇec. Zˇrejmé je to zejména u druhého pˇr´ıspˇevku ze záporné sumarizace.

35



Nokia Adresa Celkem pˇr´ıspˇevk˚ u Kladn´ ych názor˚ u Záporn´ ych názor˚ u Kladná sumarizace Záporná sumarizace

iDnes

facebook.com/nokia.cz facebook.com/iDNES.cz 219 431 16 20 14 24 4 3 4 3

Tabulka 5.1: statistické vyhodnocen´ı reálného testován´ı aplikace na tˇrech facebookov´ ych stránkách

36

6 Experiment Cel´ y experiment je zaloˇzen na zjiˇstˇen´ı a porovnán´ı u ´ˇcinnosti automatického sumarizátoru názor˚ u oproti manuáln´ı subjektivn´ı sumarizaci. K tomuto u ´ˇcelu bylo zapotˇreb´ı z´ıskán´ı testovac´ıch dat, která by se mohla pouˇz´ıt pro oba typy sumarizace a jejiˇz v´ ysledky by se dali reálnˇe porovnávat.

6.1

Z´ısk´ an´ı datasetu

Jako testovac´ı data byly pouˇzity oznaˇckované korpusy poskytnuté Ing. Josefem Steinbergerem, Ph.D. Tyto korpusy jsou vˇsechny ve stejné formˇe ve formátu CSV. Jedná se o posb´ırané pˇr´ıspˇevky z facebookov´ ych stránek: • Kofola - www.facebook.com/kofolaceskoslovensko • McDonald’s - www.facebook.com/McDonalds • Milka - www.facebook.com/Milka.cz.sk • O2 - www.facebook.com/o2cz • Slevomat - www.facebook.com/slevomat • T-Mobile - www.facebook.com/TmobileCz • Vodafone - www.facebook.com/vodafoneCZ • Xparfemy - www.facebook.com/Xparfemy.cz • ZOO Praha - www.facebook.com/zoopraha Kaˇzd´ y z uveden´ ych korpus˚ u obsahuje pˇribliˇznˇe 1100 pˇr´ıspˇevk˚ u z v´ yˇse uveden´ ych facebookov´ ych stránek.

37

Experiment

6.1.1

Z´ıskán´ı datasetu

Form´ at dat

Jedná se o soubory ve formátu CSV obsahuj´ıc´ı tyto sloupeˇcky: • ID - jedná se o unikátn´ı kl´ıˇc daného pˇr´ıspˇevku (poˇradové ˇc´ıslo) • Web - jméno facebookové stránky • Text - konkrétn´ı text daného pˇr´ıspˇevku • A1 - ohodnocen´ı pˇr´ıspˇevku prvn´ı osobou (0, n, p, b) • A2 - ohodnocen´ı pˇr´ıspˇevku druhou osobou (0, n, p, b) • R3 - ohodnocen´ı pˇr´ıspˇevku tˇret´ı osobou (0, n, p, b) - v pˇr´ıpadˇe neshody A1 a A2 • R4 - ohodnocen´ı pˇr´ıspˇevku ˇctvrtou osobou (0, n, p, b) - v pˇr´ıpadˇe neshody A1 a A2 • Gold - v´ ysledn´ y názor na pˇr´ıspˇevek • A1=A2 - porovnán´ı názor˚ u osob A1 a A2 Pˇr´ıklad ˇca´sti korpusu m˚ uˇzete vidˇet na obrázku 6.1.

Obrázek 6.1: Ukázka oznaˇckovaného korpusu facebookov´ ych stránek spoleˇcnosti Vodafone

38

Experiment

6.2

Testován´ı

Testov´ an´ı

V rámci testován´ı bylo tedy zapotˇreb´ı z´ıskat subjektivn´ı v´ ysledky na základˇe anotace a sumarizace fyzick´ ych osob a anotace a sumarizaci automatické.

6.2.1

Manu´ aln´ı sumarizace

Tato ˇcást experimentu prob´ıhala s pomoc´ı pˇeti dobrovoln´ık˚ u, kteˇr´ı mˇeli za u ´kol pomoc´ı doplˇ nkové aplikace pro manuáln´ı v´ ybˇer a export vybrat z dodan´ ych korpus˚ u pˇr´ıspˇevky obsahuj´ıc´ı kladn´ y nebo záporn´ y názor. Pro maximáln´ı rozpˇet´ı témat bylo pro experiment vybráno tˇechto pˇet korpus˚ u: • McDonald’s - www.facebook.com/McDonalds • Milka - www.facebook.com/Milka.cz.sk • Slevomat - www.facebook.com/slevomat • Vodafone - www.facebook.com/vodafoneCZ • ZOO Praha - www.facebook.com/zoopraha Kaˇzd´ y dobrovoln´ık si za pouˇzit´ı doplˇ nkové aplikace vˇzdy naimportoval jeden z korpus˚ u a následnˇe postupnˇe zkontroloval kaˇzd´ y pˇr´ıspˇevek. Pokud uznal nˇejak´ y pˇr´ıspˇevek jako názorov´ y, mohl jej oznaˇcit a pˇresunout do seznamu pˇr´ıspˇevk˚ u, které podle nˇej názor obsahuj´ı. Takto vytvoˇren´ y seznam je pak moˇzné exportovat do souboru ve formátu CSV. Tˇechto celkem 25 soubor˚ u (5 soubor˚ u od 5 dobrovoln´ık˚ u) bylo pouˇzito k otestován´ı u ´spˇeˇsnosti automatického sumarizátoru názor˚ u. Ukázku aplikace pro manuáln´ı v´ ybˇer pˇr´ıspˇevk˚ u obsahuj´ıc´ı názor m˚ uˇzete vidˇet na obrázku 6.2. Následnˇe byli jeˇstˇe tito dobrovoln´ıci poˇzádán´ı o manuáln´ı sumarizaci tˇechto pˇr´ıspˇevk˚ u obsahuj´ıc´ıch názor. V´ ysledky jednotliv´ ych dobrovoln´ık˚ u (tester˚ u) m˚ uˇzete vidˇet v dalˇs´ı ˇcásti této práce. Rozd´ıly jednotliv´ ych tester˚ u nastávaly zejména pˇri obecném pohledu na urˇcován´ı názor˚ u. Jedn´ım z problém˚ u byla napˇr´ıklad anal´ yza korpusu Milka, jelikoˇz nˇekdo povaˇzoval za názory pouze ty, které jasnˇe reagovaly pˇr´ımo na spoleˇcnost, ale nˇekteˇr´ı braly jako názor na spoleˇcnost také názory na jej´ı 39

Experiment

Testován´ı

Obrázek 6.2: Náhled doplˇ nkové aplikace pro ruˇcn´ı v´ ybˇer pˇr´ıspˇevk˚ u obsahuj´ıc´ıch názor produkty, coˇz ve své podstatˇe nen´ı zcela ˇspatn´ y pˇr´ıstup, jelikoˇz názory pˇr´ımo na produkty firmy jsou názory, které nás zaj´ımaj´ı. Tento problém je, jak se následnˇe dozv´ıme, také problém automatického sumarizátoru, kter´ y má opaˇcn´ y problém u jiného typu dat. Statisticky se vˇsak dobrovoln´ıci napˇr´ıklad poˇctem vybran´ ych pˇr´ıspˇevk˚ u liˇsili v rámci jednotek procent, coˇz lze povaˇzovat za dobré.

6.2.2

Automatick´ a sumarizace

Stejnˇe jako u manuáln´ı sumarizace bylo k automatické sumarizaci pouˇzito vybran´ ych pˇet korpus˚ u. Do automatického sumarizátoru bylo postupnˇe vloˇzeno pˇet korpus˚ u. Po automatické sumarizaci byl vˇzdy vybrán urˇcit´ y poˇcet kladn´ ych i záporn´ ych pˇr´ıspˇevk˚ u, které byly následnˇe sumarizovány. Tyto v´ ysledky pak byly pouˇzity pro porovnán´ı v´ ysledk˚ u manuáln´ı sumarizace.

40

Experiment Tester Tester Tester Tester Tester Tester

Výsledky Vybran´ e pˇ r´ıspˇ evky Procentu´ alnˇ e Maxim´ aln´ı v´ aha

1 2 3 4 5

101 168 183 146 155

9% 15% 16,4% 13% 13,9%

505 840 915 730 775

Tabulka 6.1: Poˇcet vybran´ ych pˇr´ıspˇevk˚ u jednotliv´ ych tester˚ u korpusu McDonald’s

6.3 6.3.1

V´ ysledky Manu´ aln´ı v´ ybˇ er subjektivn´ıch pˇ r´ıspˇ evk˚ u

Nyn´ı se dostáváme k vyhodnocen´ı manuáln´ı sumarizace. Pˇet tester˚ u postupnˇe manuálnˇe sumarizovalo v´ yˇse zm´ınˇen´ ych pˇet korpus˚ u. Postupnˇe se seznám´ıme s v´ ysledky jednotliv´ ych tester˚ u a vzájemnˇe porovnáme a vyhodnot´ıme jednotlivá témata (korpusy). V následuj´ıc´ıch tabulkách je moˇzné vidˇet konkrétn´ı ˇc´ısla a procentuáln´ı vyjádˇren´ı shodnosti anotac´ı jednotliv´ ych tester˚ u. Metoda urˇcen´ı m´ıry u ´spˇeˇsnosti anotac´ı je zaloˇzena na urˇcen´ı váhy jednotliv´ ych pˇr´ıspˇevk˚ u. Nejprve byla tedy urˇcena váha jednotliv´ ych pˇr´ıspˇevk˚ u podle toho, kolikrát byl dan´ y pˇr´ıspˇevek vybrán jako názor. Pokud tedy nˇejak´ y pˇr´ıspˇevek oznaˇcilo jako názor vˇsech pˇet tester˚ u, obdrˇzel tento pˇr´ıspˇevek váhu hodnoty 5. Pokud byl vybrán napˇr´ıklad dvˇema testery, obdrˇzel váhu hodnoty 2. Pokud nebyl pˇr´ıspˇevek oznaˇcen jako názor ˇza´dn´ ym testerem, z˚ ustala jeho váha 0. Procentuáln´ı u ´spˇeˇsnost je pak urˇcována pomoc´ı souˇctu vah vybran´ ych pˇr´ıspˇevk˚ u, které tvoˇr´ı urˇcitou ˇcást z maximáln´ıho moˇzného souˇctu.

McDonald’s Celkovˇe tento korpus obsahoval 1118 pˇr´ıspˇevk˚ u. Základn´ı ˇc´ıselné vyjádˇren´ı v´ ysledk˚ u jednotliv´ ych tester˚ u vid´ıte v tabulce 6.1 a porovnán´ı shody jednotliv´ ych tester˚ u vid´ıte v tabulce 6.2.

41


1 2 3 4 5

Výsledky Sk´ ore Procentu´ aln´ı u ´ spˇ eˇ snost 415 587 654 524 598

81,6% 70% 71,5% 71,8% 77,2%

Tabulka 6.2: Porovnán´ı shodnosti jednotliv´ ych tester˚ u u korpusu McDonald’s Tester Tester Tester Tester Tester Tester

Vybran´ e pˇ r´ıspˇ evky Procentu´ alnˇ e Maxim´ aln´ı v´ aha

1 2 3 4 5

75 149 123 94 104

6,7% 13,4% 11% 8,4% 9,3%

375 745 615 470 520

Tabulka 6.3: Poˇcet vybran´ ych pˇr´ıspˇevk˚ u jednotliv´ ych tester˚ u korpusu Milka Milka Celkovˇe tento korpus obsahoval 1117 pˇr´ıspˇevk˚ u. Základn´ı ˇc´ıselné vyjádˇren´ı v´ ysledk˚ u jednotliv´ ych tester˚ u vid´ıte v tabulce 6.3 a porovnán´ı shody jednotliv´ ych tester˚ u vid´ıte v tabulce 6.4.

Slevomat Celkovˇe tento korpus obsahoval 1116 pˇr´ıspˇevk˚ u. Základn´ı ˇc´ıselné vyjádˇren´ı v´ ysledk˚ u jednotliv´ ych tester˚ u vid´ıte v tabulce 6.5 a porovnán´ı shody jednotliv´ ych tester˚ u vid´ıte v tabulce 6.6. Tester Tester Tester Tester Tester Tester

1 2 3 4 5

Sk´ ore Procentu´ aln´ı u ´ spˇ eˇ snost 312 590 501 367 393

83,2% 79,2% 81,4% 78% 75,6%

Tabulka 6.4: Porovnán´ı shodnosti jednotliv´ ych tester˚ u u korpusu Milka 42


Výsledky Vybran´ e pˇ r´ıspˇ evky Procentu´ alnˇ e Maxim´ aln´ı v´ aha

1 2 3 4 5

57 76 39 78 66

5,1% 6,8% 3,5% 7% 5,9%

285 380 195 390 330

Tabulka 6.5: Poˇcet vybran´ ych pˇr´ıspˇevk˚ u jednotliv´ ych tester˚ u korpusu Slevomat Tester Tester Tester Tester Tester Tester

1 2 3 4 5


54,7% 66,6% 69,3% 69% 69,4%

Tabulka 6.6: Porovnán´ı shodnosti jednotliv´ ych tester˚ u u korpusu Slevomat Vodafone Celkovˇe tento korpus obsahoval 1119 pˇr´ıspˇevk˚ u. Základn´ı ˇc´ıselné vyjádˇren´ı v´ ysledk˚ u jednotliv´ ych tester˚ u vid´ıte v tabulce 6.7 a porovnán´ı shody jednotliv´ ych tester˚ u vid´ıte v tabulce 6.8. Tester Tester Tester Tester Tester Tester

1 2 3 4 5

Vybran´ e pˇ r´ıspˇ evky Procentu´ alnˇ e Maxim´ aln´ı v´ aha 88 146 53 106 127

7,9% 13% 4,7% 9,5% 11,3%

440 730 265 530 635

Tabulka 6.7: Poˇcet vybran´ ych pˇr´ıspˇevk˚ u jednotliv´ ych tester˚ u korpusu Vodafone

43


Výsledky Sk´ ore Procentu´ aln´ı u ´ spˇ eˇ snost

1 2 3 4 5

295 514 198 367 436

67% 70,4% 74,7% 69,3% 68,7%

Tabulka 6.8: Porovnán´ı shodnosti jednotliv´ ych tester˚ u u korpusu Vodafone Tester Tester Tester Tester Tester Tester


1 2 3 4 5

75 68 54 70 76

6,6% 6% 4,8% 6,2% 6,7%

375 340 270 350 380

Tabulka 6.9: Poˇcet vybran´ ych pˇr´ıspˇevk˚ u jednotliv´ ych tester˚ u korpusu ZOO Praha ZOO Praha Celkovˇe tento korpus obsahoval 1132 pˇr´ıspˇevk˚ u. Základn´ı ˇc´ıselné vyjádˇren´ı v´ ysledk˚ u jednotliv´ ych tester˚ u vid´ıte v tabulce 6.9 a porovnán´ı shody jednotliv´ ych tester˚ u vid´ıte v tabulce 6.10. Tester Tester Tester Tester Tester Tester

1 2 3 4 5


76,8% 72,9% 71,5% 73,1% 73,7%

Tabulka 6.10: Porovnán´ı shodnosti jednotliv´ ych tester˚ u u korpusu ZOO Praha

44

Experiment

Výsledky

Korpus


McDonald’s Milka Slevomat Vodafone ZOO Praha

23 27 32 34 43

2% 2,4% 2,9% 3% 3,8%

115 135 160 170 215

Tabulka 6.11: Porovnán´ı shodnosti anotace automatického sumarizátoru u jednotliv´ ych korpus˚ u

6.3.2

Automatick´ y v´ ybˇ er subjektivn´ıch pˇ r´ıspˇ evk˚ u

V tabulce 6.11 je vidˇet základn´ı ˇc´ıselné vyjádˇren´ı v´ ysledk˚ u automatického sumarizátoru se zamˇeˇren´ım na ˇca´st v´ ybˇeru pˇr´ıspˇevk˚ u s názorem. Zde je nutné podotknout, ˇze nastaven´ı v´ ybˇeru záporn´ ych názorov´ ych pˇr´ıspˇevk˚ u automatického sumarizátoru bylo provedeno následuj´ıc´ım zp˚ usobem: ((arr.get(i).n > 1)||(arr.get(i).hn > 1)) && ((arr.get(i).p < 3)||(arr.get(i).hp < 3)) V pˇrekladu to znamená, ˇze jako záporné názory byly vybrány pˇr´ıspˇevky, jenˇz obsahovaly alespoˇ n dvˇe slova ze slovn´ık˚ u záporn´ ych, ale zároveˇ n vˇsak pˇr´ıspˇevek nemohl obsahovat v´ıce neˇz dvˇe slova ze slovn´ıku kladn´ ych v´ yraz˚ u. U anal´ yzy kladn´ ych názor˚ u bylo pouˇzito principiálnˇe stejné, ale samozˇrejmˇe zcela opaˇcné nastaven´ı. Tabulka 6.12 pak vyjadˇruje m´ıru u ´spˇeˇsnosti automatického sumarizátoru z pohledu urˇcován´ı pˇr´ıspˇevk˚ u obsahuj´ıc´ı názor. Z v´ ysledk˚ u m˚ uˇzeme vidˇet, ˇze v´ ybˇer názor˚ u automatick´ ym sumarizátorem se od ruˇcn´ıho v´ ybˇeru liˇs´ı. Z pozorován´ı, testován´ı a procházená pˇr´ıspˇevk˚ u m˚ uˇzeme naj´ıt nˇekolik d˚ uvod˚ u. Jako jeden z hlavn´ıch d˚ uvod˚ u m˚ uˇzeme zm´ınit opravdu velké mnoˇzstv´ı pˇr´ıspˇevk˚ u, které ve své podstatˇe jsou názory, avˇsak ne pˇr´ımo na danou spoleˇcnost. Markantn´ı je to napˇr´ıklad u Slevomatu nebo u ZOO Praha. U Slevomatu se objevuje opravdu velké mnoˇzstv´ı názor˚ u na sluˇzby nebo v´ yrobky, které Slevomat v rámci své nab´ıdky nab´ız´ı. Sumarizátor je ve své základn´ı podstatˇe urˇcuje jako názory, avˇsak jednotliv´ı testeˇri správnˇe tyto pˇr´ıspˇevky neuznali jako názory na danou spoleˇcnost. Mysl´ım si, 45

Experiment Korpus McDonald’s Milka Slevomat Vodafone ZOO Praha

Výsledky Sk´ ore Procentu´ aln´ı u ´ spˇ eˇ snost 68 39 33 67 46

59,1% 29% 21% 39,4% 21,4%

Tabulka 6.12: Porovnán´ı shodnosti v´ ybˇeru pˇr´ıspˇevk˚ u obsahuj´ıc´ı názor automatick´ ym sumarizátorem u jednotliv´ ych korpus˚ u ˇze právˇe tohle je ten nejvˇetˇs´ı d˚ uvod, proˇc sumarizátor nedosahuje v oblasti urˇcován´ı názor˚ u vˇetˇs´ı u ´spˇeˇsnosti. Podobn´ y pˇr´ıpad je u korpusu ZOO Praha, kde se objevuj´ı spousty názor˚ u na jednotlivá zv´ıˇrata, avˇsak to ve své podstatˇe nejsou názory na ZOO jako takovou. Pˇr´ıkladem jeden pˇr´ıspˇevek, kter´ y byl sumarizátorem urˇcen jako kladn´ y názor:”no to je nˇeco nádhern´ yho, ˇzirafátku pˇreji do ˇzivota jen to nejlepˇs´ı”. M˚ uˇzeme pozorovat, ˇze se opravdu jedná o kladn´ y názor. Ten je vˇsak zamˇeˇren na mládˇe ˇzirafy a ne na ZOO. A takov´ ychto pˇr´ıpad˚ u se napˇr´ıˇc vˇsemi korpusy vyskytuje opravdu velké mnoˇzstv´ı. Na druhou stranu se mus´ıme pod´ıvat na anal´ yzu korpusu McDonald’s, u kterého jsme se sumarizátorem dosáhli nejlepˇs´ı shody. Zde je paradoxnˇe d˚ uvod velice podobn´ y, avˇsak efekt je zcela opaˇcn´ y. Na rozd´ıl od ostatn´ıch korpus˚ u zde jednotliv´ y testeˇri nabyli dojmu, ˇze názory na produkty spoleˇcnosti McDonald’s jsou názory pˇr´ımo na spoleˇcnost. Je to sv´ ym zp˚ usobem správná u ´vaha, jelikoˇz tyto produkty spoleˇcnost pˇr´ımo ovlivˇ nuje a vyráb´ı. Názory na kvalitu nebo chut’ se tak zde objevuj´ı ve velkém mnoˇzstv´ı a shoda tester˚ u se sumarozátorem je vˇetˇs´ı.

6.3.3

Srovn´ an´ı automatick´ e sumarizace

Nyn´ı se pod´ıváme na v´ ysledky automatického sumarizátoru a porovnáme jeho v´ ysledky s v´ ysledky jednotliv´ ych tester˚ u. Co se t´ yˇce koneˇcné sumarizace automatického sumarizátoru v porovnán´ı se sumarizac´ı jednotliv´ ych tester˚ u, poslouˇz´ı nám pro pˇrehled následuj´ıc´ı tabulky. Pro experiment bylo pouˇzito dvoj´ı nastaven´ı automatického sumarizátoru. Jako prvn´ı jsme pouˇzili omezen´ı v´ ysledné sumarizace na poˇcet ˇsedesáti 46

Experiment Korpus McDonald’s Milka Slevomat Vodafone ZOO Praha

Výsledky ´ eˇ Pˇ r´ıspˇ evk˚ u Maxim´ aln´ı v´ aha Sk´ ore Uspˇ snost 3 3 4 4 4

15 15 20 20 20

0 2 5 0 3

0% 13,3% 25% 0% 15%

Tabulka 6.13: V´ ysledky u ´spˇeˇsnosti sumarizátoru kladn´ ych názor˚ u v porovnán´ı s manuálnˇe sumarizovan´ ymi korpusy s omezen´ım sumarizace na délku 60 slov Korpus McDonald’s Milka Slevomat Vodafone ZOO Praha

´ eˇ Pˇ r´ıspˇ evk˚ u Maxim´ aln´ı v´ aha Sk´ ore Uspˇ snost 3 3 3 3 3

15 15 15 15 15

1 4 4 6 0

6,7% 26,7% 26,7% 40% 0%

Tabulka 6.14: V´ ysledky u ´spˇeˇsnosti sumarizátoru záporn´ ych názor˚ u v porovnán´ı s manuálnˇe sumarizovan´ ymi korpusy s omezen´ım sumarizace na délku 60 slov slov. Sumarizaci tˇechto kladn´ ych názor˚ u m˚ uˇzete vidˇet v tabulce 6.13 a sumarizaci záporn´ ych pˇr´ıspˇevk˚ u m˚ uˇzete vidˇet v tabulce 6.14. V druhém pˇr´ıpadˇe bylo nastaveno omezen´ı na poˇcet sta slov a v´ ysledky m˚ uˇzete vidˇet pro kladné názory v tabulce 6.15 a pro záporné 6.16. Kaˇzd´ y tester mˇel za u ´kol vybrat deset pˇr´ıspˇevk˚ u (pˇet kladn´ ych a pˇet záporn´ ych), které dle jeho názoru nejv´ıce vystihuj´ı a sumarizuj´ı tak vˇsechny pˇr´ıspˇevky z daného korpusu. Z anal´ yzy vˇsech v´ ysledk˚ u automatického sumarizátoru m˚ uˇzeme hovoˇrit o u ´spˇeˇsnosti maximálnˇe 40%. Na druhou stranu mus´ıme zd˚ uraznit, ˇze po procesu anal´ yzy obsahu subjektivn´ıch názor˚ u dosahovala aplikace u ´spˇeˇsnosti cca 75%. Je jasné, ˇze z kaˇzd´ ym dalˇs´ım procesn´ım krokem aplikace docház´ı ke znepˇresˇ nován´ı celkového v´ ysledku a aˇckoliv se m˚ uˇzou zdát namˇeˇrené hodnoty n´ızké, z osobn´ıho pohledu mus´ım ˇr´ıci, ˇze ruˇcn´ı v´ ybˇer názor˚ u do koneˇcné sumarizace je opravdu velice subjektivn´ı pohled na vˇec a nav´ıc se m˚ uˇze k danému tématu vyjadˇrovat nˇekolik podobn´ ych pˇr´ıspˇevk˚ u. Nemus´ı tak b´ yt v˚ ubec ojedinˇel´ y pˇr´ıpad, kdy sumarizátor vybere do v´ ysledného souhrnu jin´ y pˇr´ıspˇevek neˇz jednotliv´ y tester manuálnˇe, avˇsak vypov´ıdaj´ıc´ı hodnota m˚ uˇze b´ yt hodnˇe podobná. V naˇsem mˇeˇren´ı se ovˇsem tyto v´ ysledky poˇc´ıtaj´ı jako

47

Experiment

Korpus McDonald’s Milka Slevomat Vodafone ZOO Praha

Výsledky


25 25 25 25 15

1 2 4 0 2

20% 8% 16% 0% 13,3%

Tabulka 6.15: V´ ysledky u ´spˇeˇsnosti sumarizátoru kladn´ ych názor˚ u v porovnán´ı s manuálnˇe sumarizovan´ ymi korpusy s omezen´ım sumarizace na délku 100 slov

Korpus McDonald’s Milka Slevomat Vodafone ZOO Praha


25 15 20 25 20

4 4 6 9 2

16% 26,7% 30% 36% 10%

Tabulka 6.16: V´ ysledky u ´spˇeˇsnosti sumarizátoru záporn´ ych názor˚ u v porovnán´ı s manuálnˇe sumarizovan´ ymi korpusy s omezen´ım sumarizace na délku 100 slov

48

Experiment

Výsledky

chybné a tak mohou b´ yt z tohoto pohledu zkreslené.

49

7 Závˇer V´ ysledkem celé práce je funguj´ıc´ı demo aplikace zamˇeˇrená na automatickou sumarizaci názor˚ u na sociáln´ı s´ıti Facebook. Tato aplikace byla d˚ ukladnˇe testována v reálném prostˇred´ı a m˚ uˇzeme ˇr´ıci, ˇze na prvn´ı pohled p˚ usob´ı d˚ uvˇeryhodnˇe a v´ ysledná sumarizace opravdu pˇribliˇznˇe vypov´ıdá o hodnˇe prob´ıran´ ych tématech dané facebookové stránky. Ve v´ ysledc´ıch je také vidˇet správná vlastnost sumarizátoru o v´ ybˇeru pˇr´ıspˇevk˚ u z r˚ uzn´ ych témat. Následnˇe byl proveden experiment zamˇeˇren´ y na u ´spˇeˇsnost automatického sumarizátoru v porovnán´ı se subjektivn´ı anotac´ı pˇeti tester˚ u. Bylo vypozorováno, ˇze ve fázi urˇcován´ı sentimentu dosahuje oproti manuáln´ı anotaci aplikace u ´spˇeˇsnosti pˇribliˇznˇe 75% a u ´spˇeˇsnost v´ ysledné sumarizace se pak pohybuje pˇribliˇznˇe okolo 20%. Pˇri anal´ yze v´ ysledk˚ u experimentu také bylo vypozorováno, ˇze urˇcován´ı sentimentu pˇr´ıspˇevku je mnohem u ´ˇcinˇejˇs´ı u negativn´ıch pˇr´ıspˇevk˚ u. Podobn´ y trend je pozorován i u samotné sumarizace, i kdyˇz ta je samozˇrejmˇe pˇredchoz´ım procesem ovlivnˇena. D˚ uvodem m˚ uˇze b´ yt napˇr´ıklad zcela jednoduché vysvˇetlen´ı, ˇze vˇetˇsina lid´ı se k pˇr´ıspˇevku odhodlá zejména pokud se jim nˇeco nel´ıb´ı nebo pokud maj´ı nˇejak´ y problém. Také potom v takov´ ych pˇr´ıpadech pouˇz´ıvaj´ı v´ıce zabarvená slova, která pomáhaj´ı k lepˇs´ı anal´ yze jednotliv´ ych pˇr´ıspˇevk˚ u a t´ım i k lepˇs´ı u ´ˇcinnosti celé aplikace.

7.1

Vylepˇ sen´ı v´ ysledk˚ u sumarizace

V rámci algoritmu pro urˇcován´ı sentimentu a sumarizace názor˚ u m˚ uˇzeme nejsp´ıˇse dosáhnout dalˇs´ıho vylepˇsen´ı v´ ysledk˚ u. Pro pˇr´ıklad zmiˇ nuji nˇekolik moˇznost´ı, které by pˇri zapracován´ı do algoritmu mˇely pomoci: 1. Kl´ıˇ cov´ a slova - pˇred sumarizac´ı dané facebookové stránky bychom mohli nastavit speciáln´ı kl´ıˇcová slova specifická pro dané téma a pˇridˇelit jim speciáln´ı váhu. Základn´ım kl´ıˇcov´ ym slovem by zajisté byl název firmy nebo v´ yrobku, kter´ y stránka zastupuje. T´ım bychom zajistili upˇrednostnˇen´ı vˇet, které v sobˇe obsahuj´ı pˇr´ımo název stránky, coˇz jiˇz ˇcasto znamená, ˇze se jedná o pˇr´ıspˇevek s názorem. Podobnˇe m˚ uˇzeme zaˇradit dalˇs´ı kl´ıˇcová slova specifická napˇr´ıklad pro sluˇzby nebo v´ yrobky 50

Závˇer

Vylepˇsen´ı výsledk˚ u sumarizace

spoleˇcnosti, coˇz bude m´ıt velice podobn´ y efekt. Pˇr´ıkladem m˚ uˇzeme zm´ınit kl´ıˇcové slovo ”vstupné”u facebookové stránky ZOO Praha. 2. Specifick´ a nev´ yznamn´ a slova - kromˇe filtrace stopwords se m˚ uˇzeme u konkrétn´ıch stránek zamˇeˇrit na slova, která se nejsp´ıˇse budou v pˇr´ıspˇevc´ıch vyskytovat ˇcasto, nicménˇe nás tato slova pˇr´ımo nezaj´ımaj´ı a v´ yslednou sumarizaci bychom zbyteˇcnˇe zkreslili. Pokud opˇet vezmeme vu ´vahu facebookové stránky ZOO Praha, m˚ uˇzeme se zamˇeˇrit na jména nejdiskutovanˇejˇs´ıch zv´ıˇrat s t´ım, ˇze pˇr´ıspˇevky obsahuj´ıc´ı nˇejaké z dan´ ych jmen bude obsahovat názor pouze na dané zv´ıˇre, coˇz nás primárnˇe nemus´ı zaj´ımat. 3. Emotikony - na sociáln´ıch s´ıt´ıch se velice ˇcasto pouˇz´ıvaj´ı pro vyjádˇren´ı názoru emotikony, coˇz je specifická posloupnost symbol˚ u vyjadˇruj´ıc´ı náladu nebo aktuáln´ı postoj. Pokud bychom tyto speciáln´ı sekvence znak˚ u zaˇradili do slovn´ıku, mohli bychom dosáhnout pˇresnˇejˇs´ıch v´ ysledk˚ u v hodnocen´ı sentimentu. 4. Specifick´ e sekvence slov - dalˇs´ı moˇznost´ı zpˇresnˇen´ı v´ ysledk˚ u je potlaˇcen´ı znám´ ych sekvenc´ı slov, které obsahuj´ı slova z nˇekterého slovn´ıku, ale jiˇz dopˇredu v´ıme, ˇze na v´ ysledek nemaj´ı ˇzádn´ y vliv, ba naopak v´ ysledky zkresluj´ı. Pˇr´ıkladem m˚ uˇze b´ yt napˇr´ıklad pozdrav ”dobr´ y den”, kter´ y v sobˇe obsahuje pozitivn´ı pˇr´ıdavné jméno, nicménˇe na reáln´ y v´ ysledn´ y sentiment pˇr´ıspˇevku nemá ˇza´dn´ y vliv. Zajisté lze vˇsak nalézt pˇr´ıpady opaˇcné, kdy bychom naopak mˇeli urˇcité sekvence slov, jejich slova se nevyskytuj´ı ve slovn´ıc´ıch, zv´ yhodnit. Pˇr´ıkladem uved’me spojen´ı ”to je ono”, které se skládá ze sam´ ych stopwords, ovˇsem dohromady v tomto znˇen´ı m˚ uˇze znaˇcit kladné zabarven´ı pˇr´ıspˇevku. 5. Pˇ reklepy a nespisovn´ e v´ yrazy - To je dalˇs´ı velice v´ yrazn´ y problém anal´ yzy text˚ u napsan´ ych lidmi zejména na sociáln´ıch s´ıt´ıch, diskuz´ıch a podobn´ ych ménˇe kontrolovan´ ych m´ıstech. Jedn´ım zp˚ usobem pro odstranˇen´ı tˇechto nepˇresnost´ı je urˇcitˇe anal´ yza a následné zanesen´ı pˇresn´ ych pˇreklep˚ u, zkratek nebo nespisovn´ ych v´ yraz˚ u. To nám m˚ uˇze do urˇcité m´ıry pomoci a m˚ uˇzeme se tak vyvarovat zkreslen´ı alespoˇ n u velice znám´ ych pˇreklep˚ u nebo v´ yraz˚ u. Ostatn´ı náhodné jevy ale mohou b´ yt pro správnou anal´ yzu velice sloˇzité a nˇekdy moˇzná i nemoˇzné, pokud jejich prav´ y v´ yznam nerozpozná ani ˇclovˇek, kter´ y oproti poˇc´ıtaˇci chápe kontext celého pˇr´ıspˇevku. 6. Negace - Jako konkrétn´ı pˇr´ıklad uvád´ım slovn´ı spojen´ı ”nen´ı to ˇspatné”, coˇz je v principu kladné hodnocen´ı, nicménˇe analyzátor zaloˇzen´ y na slov51

n´ıkov´ ych metodách vid´ı standardnˇe dvˇe záporná slova a pˇreváˇznˇe vyhodnocuje pˇr´ıspˇevek jako záporn´ y, coˇz je ˇspatnˇe. Pro vylepˇsen´ı by mohl b´ yt do algoritmu anal´ yzy sentimentu pˇridán algoritmus pro anal´ yzu a váhován´ı negac´ı.

52

Literatura [Balahur et al.(2012)] BALAHUR, A. et al. Challenges and Solutions in the Opinion Summarization of User-generated Content. J. Intell. Inf. Syst. October 2012, 39, 2, s. 375–398. ISSN 0925-9902. [Barzilay(1997)] BARZILAY, E. M. R. Using Lexical Chains for Text Summarization. In In Proceedings of the ACL Workshop on Intelligent Scalable Text Summarization, s. 10–17, 1997. [Corinna et al.(1995)] CORINNA, C. et al. Support-Vector Networks. Mach. Learn. September 1995, 20, 3, s. 273–297. ISSN 0885-6125. [Ferro et al.(2005)] FERRO, L. et al. TIDES 2005 Standard for the Annotation of Temporal Expressions. In Technical Report. The MITRE Corporation, 2005. [Gimpel et al.(2011)] GIMPEL, K. et al. Part-of-speech Tagging for Twitter: Annotation, Features, and Experiments. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies: Short Papers - Volume 2, HLT ’11, s. 42–47, Stroudsburg, PA, USA, 2011. Association for Computational Linguistics. ISBN 978-1-932432-88-6. [Habernal et al.(2013)] HABERNAL, I. et al. Sentiment Analysis in Czech Social Media Using Supervised Machine Learning. In Proceedings of the 4th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, s. 65–74, Atlanta, Georgia, June 2013. Association for Computational Linguistics. Dostupné z: http://www.aclweb.org/anthology/W13-1609. [Jezek et al.(2008)] JEZEK, K. et al. Automatic text summarization. In The ˇ 2008. state of the art 2007 and new challenges. ZCU,

53

[Kupiec et al.(1995)] KUPIEC, J. et al. A Trainable Document Summarizer. In Proceedings of the 18th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, SIGIR ’95, s. 68–73, New York, NY, USA, 1995. ACM. ISBN 0-89791-714-6. [Luhn(1958)] LUHN, H. P. The Automatic Creation of Literature Abstracts. IBM J. Res. Dev. April 1958, 2, 2, s. 159–165. ISSN 0018-8646. [Manning et al.(2008)] MANNING, C. D. et al. Introduction to Information Retrieval. New York, NY, USA : Cambridge University Press, 2008. ISBN 0521865719, 9780521865715. [Marek Nekula(2003)] MAREK NEKULA, K. Pˇr´ıruˇcn´ı mluvnice ˇceˇstiny. Brno : NLN, s.r.o., 2003. ISBN 80-7106-134-4. [Marek Nekula(2002)] MAREK NEKULA, K. Encyklopedický slovn´ık ˇceˇstiny. Brno : NLN, s.r.o., 2002. ISBN 987-80-7106-484-8. [Meyer(2001)] MEYER, T. U. W. D. Support Vector Machines. The Interface to libsvm in package e1071. Online-Documentation of the package e1071, 2001. [Salton(1988)] SALTON, G. (Ed.). Automatic Text Processing. Boston, MA, USA : Addison-Wesley Longman Publishing Co., Inc., 1988. ISBN 02:1-1227-8. [Steinberger(2009)] STEINBERGER, J. K. J. Evaluation Measures for Text Summarization. Computing and Informatics. 2009, 28, 2, s. 251–275. [Steinberger et al.(2011)] STEINBERGER, J. et al. Aspect-Driven News Summarization, 2011. [Steinberger et al.(2012)] STEINBERGER, J. et al. Towards languageindependent news summarization. In Proceedings of the Text Analysis Conference 2011. NIST, 2012. [Taboada et al.(2011)] TABOADA, M. et al. Lexicon-based Methods for Sentiment Analysis. Comput. Linguist. June 2011, 37, 2, s. 267–307. ISSN 0891-2017. [Tanev et al.(2008a)] TANEV, H. et al. Real-Time News Event Extraction for Global Crisis Monitoring. In Proceedings of the 13th International Conference on Natural Language and Information Systems: Applications of Natural Language to Information Systems, NLDB ’08, s. 207–218, Berlin, Heidelberg, 2008a. Springer-Verlag. ISBN 978-3-540-69857-9. 54

[Tanev et al.(2008b)] TANEV, H. et al. Weakly Supervised Approaches for Ontology Population. In Proceedings of the 2008 Conference on Ontology Learning and Population: Bridging the Gap Between Text and Knowledge, s. 129–143, Amsterdam, The Netherlands, The Netherlands, 2008b. IOS Press. ISBN 978-1-58603-818-2. [Turchi et al.(2010)] TURCHI, M. et al. Using Parallel Corpora for Multilingual (Multi-document) Summarisation Evaluation. In AGOSTI, M. et al. (Ed.) Multilingual and Multimodal Information Access Evaluation, 6360 / Lecture Notes in Computer Science, s. 52–63. Springer Berlin Heidelberg, 2010. ISBN 978-3-642-15997-8. ˇ 2012. [Zapotocky(2012)] ZAPOTOCKY, P. Stemmer pro ˇceˇstinu. ZCU, [Zhang(2004)] ZHANG, H. The Optimality of Naive Bayes. In BARR, V. – MARKOV, Z. (Ed.) Proceedings of the Seventeenth International Florida Artificial Intelligence Research Society Conference (FLAIRS 2004). AAAI Press, 2004.

55

A Uˇzivatelská dokumentace Aplikaci spust´ıte otevˇren´ım souboru Sumarizator.jar, ideálnˇe ve sloˇzce, ve které je um´ıstˇen. Pokud budete cht´ıt apliakci pˇresunout ze zdrojové sloˇzky jinam, mus´ıte na stejné m´ısto um´ıstit i slovn´ıky, které zajiˇst’uj´ı správnou funkci aplikace (cs hn.txt, cs hp.txt, cs n.txt, cs p.txt, stoplist.txt). Pokud tyto slovn´ıky nebudou ve stejné sloˇzce jako zdrojová aplikace, nebude jej´ı funkˇcnost správná. Po otevˇren´ı okna je poˇzadováno nastaven´ı minimálnˇe jednoho, maximálnˇe vˇsak tˇr´ı u ´daj˚ u. Jediná povinná poloˇzka pro správnou funkˇcnost je vyplnˇen´ı tzv. tokenu, coˇz je ˇcasovˇe omezen´ y kl´ıˇc pro aktivac´ı rozhran´ı Facebook API. Vloˇzte tedy token do textového pole v pravém horn´ım rohu. Z´ıskáte ho zkop´ırován´ım z webé stránky https://developers.facebook.com/tools/explorer. Druhou jiˇz nepovinnˇe upravovanou poloˇzkou je ID stránky. Jedná se o unikátn´ı ˇc´ıslo charakterizuj´ıc´ı danou facebookovou stránku, kterou chcete sumarizovat. Defaultnˇe je v aplikaci nastaveno ID facebookové stránky portálu iDnes.cz. Pokud chcete sumarizovat jinou facebookovou stránku, zjistˇete si jej´ı ID na webové stránce http://findmyfacebookid.com/. Provedete to tak, do jednoduchého formuláˇrového pole vloˇz´ıte domovskou URL vámi vybrané facebookové stránky a potvrd´ıte tlaˇc´ıtkem ”Lookup numeric ID”. Vygenerované ID pak vloˇzte v aplikaci do textového pole ”ID stránky”v levém horn´ım rohu. Posledn´ı nastavitelnou poloˇzkou je omezen´ı délky v´ ysledného souhrnu v závislosti na poˇctu slov. Toto nastaven´ı se provád´ı v pravém doln´ım rohu aplikace a defaultnˇe je nastaveno na 500 slov. Vy toto nastaven´ı m˚ uˇzete kdykoliv mˇenit. Pokud jste si nastavili vˇsechny moˇzné parametry podle vaˇsich pˇredstav, staˇc´ı stisknout tlaˇc´ıtko ”Summarize”um´ıstˇené v pravém doln´ım rohu. Po chvilce se vám jiˇz ukáˇz´ı dostupné v´ ysledky a statistiky. V seznamu na levé ˇcásti vid´ıte vˇsechny extrahované pˇr´ıspˇevky a komentáˇre. Nav´ıc nad t´ımto seznamem m˚ uˇzete vidˇet stejnˇe jako u ostatn´ıch seznam˚ u poˇcet. V prostˇredn´ı ˇcásti pak vid´ıte nahoˇre seznam kladn´ ych názor˚ u a pod n´ım jejich sumarizaci. V pravé ˇcásti je pak nahoˇre seznam se záporn´ ymi názory a pod n´ım seznam záporné sumarizace.

56

Západočeská univerzita v Plzni Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky. Automatická sumarizace

Recommend Documents