UNICORN COLLEGE
Katedra informačních technologií
BAKALÁŘSKÁ PRÁCE
Vytvoření appletu umožňujícího kontrolu pravopisu pro data uložená v Unicorn Universe Autor BP: Pavel Bibr Vedoucí BP: RNDr. Ondřej Kučera 2014 Praha
Čestné prohlášení Prohlašuji, že jsem svou bakalářskou práci na téma Vytvoření appletu umožňujícího kontrolu pravopisu pro data uložená v Unicorn Universe vypracoval samostatně pod vedením vedoucího bakalářské práce a s použitím výhradně odborné literatury a dalších informačních zdrojů, které jsou v práci citovány a jsou také uvedeny v seznamu literatury a použitých zdrojů. Jako autor této bakalářské práce dále prohlašuji, že v souvislosti s jejím vytvořením jsem neporušil autorská práva třetích osob a jsem si plně vědom následků porušení ustanovení
§ 11 a následujícího au-
torského zákona č. 121/2000 Sb. V Praze dne 9. ledna 2014
….............
Poděkování Děkuji vedoucímu bakalářské práce RNDr. Ondřeji Kučerovi za účinnou metodickou, pedagogickou a odbornou pomoc a další cenné rady při zpracování mé bakalářské práce.
Vytvoření appletu umožňujícího kontrolu pravopisu pro data uložená v Unicorn Universe Creation of an applet providing a spell checking functionality for data stored in Unicorn Universe
6
Abstrakt Bakalářská práce si klade za cíl sestavit přehled na trhu dostupných nekomerčních open source komponent sloužících ke slovníkové kontrole pravopisu a následně implementovat vybranou komponentu v samostatném Java appletu. Komponenty budou posuzovány z hlediska integrovatelnosti s programy psanými v jazyce Java, výkonu, licenční politiky, podpory a dostupnosti slovníků v různých jazycích. Pro implementační část práce je nezbytné, aby k dané komponentě byl k dispozici přinejmenším slovník český, anglický, slovenský, španělský a ruský. Applet bude na vyžádání ze systému Unicorn Universe stahovat obsah, který uživateli zobrazí, provede kontrolu textu, navrhne opravy a případný opravený obsah umožní nahrát zpět do systému. Komunikace se systémem bude probíhat prostřednictvím Unicorn ES API. Applet dále uživateli umožní opravovat návrhy a přidávat nové výrazy. Klíčová slova: kontrola pravopisu, Java, applet, Unicorn Universe, Unicorn ES API
7
Abstract The thesis aims to assemble a list of non-commercial and open sourced spell check components available on the market and to incorporate a suitable one into a Java applet. The components will be evaluated based on their ability to integrate with programs written in the Java programming language, performance, license, available support, and availability of dictionaries in various languages. The programming part of the thesis requires that at least Czech, English, Slovak, Spanish, and Russian dictionaries are available. The applet will be able to download content from Unicorn Universe on demand, which it will then display to the user, check the spelling of the text, suggest corrections, and offer uploading the modified content back to the system. The communication between the applet and Unicorn Universe will utilize Unicorn ES API. The applet will also allow the user to modify suggested correc tions and to add new words into the dictionary. Keywords: spell check, Java, applet, Unicorn Universe, Unicorn ES API
8
Obsah 1.Úvod..................................................................................................................................11 2.Analýza problematiky.......................................................................................................13 2.1.Kontrola pravopisu.......................................................................................................13 2.2.Java applet....................................................................................................................14 2.3.Unicorn Universe.........................................................................................................16 2.4.SOAP............................................................................................................................17 3.FURPS+ analýza...............................................................................................................19 4.Analýza případů užití........................................................................................................19 4.1.Specifikace případů užití..............................................................................................19 4.1.1.UC1 – Přihlášení.....................................................................................................19 4.1.2.UC2 – Stažení textu.................................................................................................23 4.1.3.UC3 – Kontrola textu..............................................................................................24 4.1.4.UC4 – Uložení textu................................................................................................25 4.1.5.UC5 – Odemčení listu.............................................................................................26 4.2.Diagram případů užití...................................................................................................27 5.Jazykové komponenty.......................................................................................................28 5.1.Identifikace...................................................................................................................28 5.2.google-api-spelling-java...............................................................................................29 5.3.JaSpell..........................................................................................................................30 5.4.JOrtho...........................................................................................................................30 5.5.Jazzy.............................................................................................................................31 5.6.HunspellJNA................................................................................................................31 5.7.LanguageTool...............................................................................................................32 5.8.Porovnání a výběr.........................................................................................................32 6.Realizace...........................................................................................................................37 6.1.Přehled architektury.....................................................................................................38 6.2.Interní komponenty......................................................................................................39 6.2.1.Gui...........................................................................................................................41 6.2.2.UESDocumentHandler............................................................................................42 6.2.3.DocumentNode........................................................................................................43 9
6.2.4.SpellChecker...........................................................................................................43 6.2.5.UESLogin................................................................................................................44 6.3.Externí komponenty.....................................................................................................44 6.3.1.HunspellJNA...........................................................................................................45 6.3.2.Unicorn ES API.......................................................................................................46 6.4.Applet...........................................................................................................................47 6.4.1.Spouštění.................................................................................................................47 6.4.2.Ukázka použití.........................................................................................................48 6.4.3.Systémové požadavky.............................................................................................54 6.4.4.Další úpravy a rozšíření...........................................................................................54 7.Závěr..................................................................................................................................57 8.Conclusion.........................................................................................................................58 9.Seznam použitých zdrojů..................................................................................................59 10.Seznam obrázků..............................................................................................................62 11.Seznam tabulek................................................................................................................63 12.Seznam příloh..................................................................................................................64 12.1.Příloha 1 – Testovací text...........................................................................................65 12.2.Příloha 2 – CD-ROM.................................................................................................66 12.3.Příloha 3 – UXML......................................................................................................67
10
1.
Úvod
Pravopisem, neboli ortografií, rozumíme soubor obecně přijímaných a kodifikovaných pravidel záznamu jazyka písemnými prostředky. Nedodržování těchto pravidel může vést ke snížení srozumitelnosti psaného textu a vyžadování většího úsilí na straně čtenáře. V některých situacích může být porušování pravopisu vnímáno přinejmenším jako společensky nevhodné, v oficiálních písemnostech je pak přímo vyžadováno použití spisovného jazyka, a tedy i přísné dodržování pravidel pravopisu. Dodržování pravopisu je tedy obecně vnímáno jako společensky žádoucí jev, ovšem jako každé dodržování určitého standardu i zde to typicky znamená potřebu zvýšeného vynaložení úsilí na straně producenta, v našem případě pisatele. Kontrola pravopisu je v dnešní době vcelku běžnou součástí textových procesorů. Šetří uživatelům čas a práci tím, že dokáže odhalit v textu alespoň část pravopisných chyb a překlepů. Jejím smyslem je tedy zvýšení kvality psaných textů po pravopisné stránce, přičemž zároveň typicky zvyšuje uživatelský komfort provádění oprav poskytováním návrhů. Uživatel tak není nucen nahlížet do slovníku, pokud si například není zcela jist správnou formou daného slova. [1] Informační systém Unicorn Universe slouží mimo jiné ke správě dokumentů obsahujících text, a je proto vybaven vlastním textovým procesorem, díky kterému je lze vytvářet a editovat. Uvedený procesor však funkci kontroly pravopisu v době psaní této práce nenabízí. Tato práce tedy zároveň vzniká jako studie dané problematiky pro společnost Unicorn Solutions a jejím záměrem je prakticky ověřit jedno z možných řešení této situace. Dle zadání Unicorn Solutions je cíl této práce dvojí, a to: 1. „Průzkum trhu dostupných spell check komponent se zaměřením na následující oblasti: 1. Kvalita, výkon 2. Lokalizace a dostupnost slovníků min. pro češtinu, angličtinu, slovenštinu, španělštinu a ruštinu 3. Integrovatelnost do Java ekosystému 4. Open source, podpora, komunita 5. Licenční politika (komponenta, slovníky) - nelze komerční licence a GPL 11
2. Vytvoření aplikace (primárně applet) integrující vybranou spell check komponentu a využívající Unicorn ES API pro práci s popisem: 1. Applet bude na vyžádání stahovat ze systému Unicorn Universe obsah ke kontrole pravopisu, provede kontrolu a navrhne změny, přičemž data zobrazí (v rozumné formě při zachování elementární struktury dat), a na vyžádání opravený obsah uloží zpět do Unicorn Universe. 2. Applet bude umět pracovat s dostupnými slovníky a bude se umět učit (opravy návrhů uživatelem atd.) 3. Applet bude integrovaný do samostatné webové aplikace, bude komunikovat výhradně prostředky UES API (SOAP či REST verze)“ [2]
12
2.
Analýza problematiky
Přibližme si nyní jednotlivé oblasti a prvky, se kterými se bude v této práci operovat. Nejprve se seznámíme s principy provádění kontroly pravopisu pomocí počítačů a jaká omezení se na ně vztahují. Dále pohovoříme o tom, co je to Java applet, který byl zmíněn v zadání práce. Nakonec si v této kapitole popíšeme informační systém Unicorn Universe, se kterým má cílový applet interagovat, a popíšeme protokol SOAP, který bude komunikaci s Unicorn Universe zprostředkovávat.
2.1.
Kontrola pravopisu
Počítačová kontrola pravopisu se zabývá automatizovaným vyhodnocováním chyb v textu a navrhováním oprav. S použitím informací z [1] si přibližme možné členění algoritmů pro vyhledávání chyb dle jejich komplexity a přístupu k řešení dané otázky. Jako příklad jednoduchého a jazykově nezávislého algoritmu pro vyhledávání chyb lze uvést analýzu trigramů. Daný text se rozdělí na všechny souvislé trojice písmen (tedy například slovo „trojice“ se zaznamená jako tro, roj, oji, jic a ice) a zaznamená se jejich četnost. Uživatel je poté upozorněn na slova obsahující nejvzácnější trigramy, protože taková mohou snadno vzniknout právě například nezamýšleným stiskem několika kláves (např. trojixce). Neobsahuje-li však slovo takové neobvyklé trigramy, projde i s hrubými pravopisnými chybami kontrolou bez povšimnutí. Proto se algoritmy vyhodnocování chyb typicky opírají o práci se slovníkem daného jazyka. Triviální algoritmy pracující se slovníkem lze postavit na vyhledávání ve slovníku obsahujícím všechna slova a jejich tvary. Takové řešení je však nesmírně náročné na paměť a u jazyků, které mají složitou morfologii nebo jejichž slovotvorba dovoluje tvořit slova spojováním*, ani nemusí být reálně možné takový úplný slovník vytvořit. Proto se zpravidla kombinuje slovník obsahující jen určitý počet nejčastějších slov či slovních kořenů spolu s pravidly tvoření a ohýbání slov. Takto obohacené algoritmy již mohou být schopny zachytit prakticky veškerá nespisovná slova a překlepy. Text však přesto může zůstat plný pravopisných chyb, jako je špatný slovosled či záměna výslovnostních homonym *
Např. německé slovo „Rindfleischetikettierungsüberwachungsaufgabenübertragungsgesetz“.
13
(být a bít). Takovéto chyby gramatického a syntaktického charakteru nedokáže odhalit sebelepší algoritmus pracující se slovy izolovaně, neboť správný tvar slova lze v takovém případě zjistit pouze z kontextu. Tím se zabývá další skupina algoritmů, která se s ohledem na odlišné zaměření někdy označuje jako kontrola gramatiky (grammar checker). Aby takové algoritmy dokázaly nacházet gramatické chyby, musejí pracovat se vzájemnými vztahy mezi slovy. Jednou metodou je statistická analýza, která na základě informací načerpaných z rozsáhlých textů určí pravděpodobnost výskytu určitých slov u sebe. Například, napíše-li uživatel, že někdo „bil pozván“, měl by algoritmus poukázat na nepravděpodobnost takového slovního spojení a nabídnout změnu na „byl“. Další rozšíření se již zakládají na schopnostech počítačů provádět sémantickou analýzu, což je například jednodušší pro určitá předem definovaná témata, nebo přísnější pravidla syntaxe, aby byla množina řešení co nejlépe omezena. Přesto se však jedná o nesmírně náročnou disciplínu a algoritmy této kategorie jsou proto mnohem vzácnější, než dříve zmíněný typ kontrolující samostatná slova proti slovníku.
2.2.
Java applet
Java applet je druh programu psaného v programovacím jazyce Java, který může být vložen na webovou stránku. Webový prohlížeč podporující applety umí tento typ programu stáhnout a spustit v běhovém prostředí Java Virtual Machine (JVM) na lokálním počítači, je-li toto prostředí přítomno. Existuje větší množství implementací běhového prostředí jazyka Java. Majitelem obchodního označení Java a přidružených technologií je v současnosti společnost Oracle Corporation. Ta je též primárním vývojářem této platformy a na internetových stránkách
poskytuje ke stažení svou implementaci tohoto prostředí, kterou budeme pro jednoduchost dále označovat jako Oracle Java. Vedle zmíněné a de facto oficiální implementace od společnosti Oracle byla při vyhotovování této práce použita použita ještě implementace alternativní, nazývaná OpenJDK. Ta se odlišuje především tím, že je poskytována pod modifikovanou licencí GNU General Public License (GNU GPL) a dává k dispozici svůj zdrojový kód. Je proto populární zejména
14
v prostředí hnutí svobodného softwaru a typicky je nabízena jako výchozí varianta v operačních systémech typu GNU/Linux a na dalších unixových platformách. Applet se obvykle vykresluje v rámci prostoru vymezeného na dané webové stránce a jeho životní cyklus je řízen komponentou zodpovědnou za práci s applety v samotném webovém prohlížeči. Applety jsou určené k tvorbě grafických prvků, ať už pasivních či interaktivních, a v rámci zdrojového kódu musí být třída implementující applet potomkem třídy java.applet.Applet, či javax.swing.JApplet [3][4, s. 227]. Druhá zmíněná třída umožňuje využívat grafických prvků knihovny Swing a tato knihovna byla použita i při realizaci cílového appletu této práce. Příklad jednoduchého appletu zobrazujícího jen pohyblivou grafiku je například na stránkách dokumentace a tutoriálů Java od společnosti Oracle:
. Složitější applety, provádějící fyzikální simulace a poskytující interaktivní řízení jsou například k dispozici na této stránce . V rámci HTML kódu dané stránky jsou applety a jejich parametry umisťovány pomocí tagů *, nebo <embed>. Různé webové prohlížeče historicky zacházely s těmito tagy rozdílně, proto může být třeba použít JavaScript k přizpůsobení kódu stránky dle použitého prohlížeče, aby byla zachována multiplatformnost [7]. Za tímto účelem existuje oficiální skript, Deployment Toolkit, poskytovaný společností Oracle [8]. Další alternativu pak představuje použití protokolu Java Network Launch Protocol, který pomocí konfiguračního souboru uloženého na serveru provede spuštění appletu (či jiné aplikace psané v Javě) v cílovém počítači přímo. Tento protokol umožňuje jemnější konfiguraci práce s appletem a poskytuje takto spuštěnému programu různá přídavná rozhraní [9]. Applety jsou z bezpečnostních důvodů spouštěny v omezeném prostředí (tzv. sandbox), které jim brání vykonávat určité činnosti, například přistupovat k souborovému systému lokálního počítače. Výjimku z těchto omezení smí získat jen applet, který je podepsán certifikátem, a uživatel musí udělení výjimky explicitně povolit [4, s. 227]. Historicky byly applety prvkem, který se významně podílel na popularitě jazyka Java a jeho běhového prostředí [4, s. 227]. Zdá se však, že se postupem času přesunuly spí* 1 2001-06-22T14:00:00-05:00 <env:Body> <m:alert xmlns:m="http://example.org/alert"> <m:msg>Pick up Mary at school at 2pm Základ představuje kořenový element Envelope, který v sobě dále obsahuje nepovinný element Header, v němž lze přenášet například metadata, a povinný element Body, obsahující vlastní parametry vzdáleného požadavku..,,. Odkazy na tyto elementy jsou spolu s dalšími parametry ukládány v seznamu objektů typu DocumentNode, o kterém pojednává příští kapitola. Formátovaný textový obsah plynoucí z těchto elementů je vykreslen v komponentě JTextPane třídy Gui. Formátování se momentálně týká zvýraznění textu nadpisů tučným písmem a odřádkování odstavců a nadpisů. Pro vlastní kontrolu pravopisu je text v neformátované podobě 42. Podobně jako nativní knihovny je třeba sledovat jistou jmennou konvenci souborů, což v daném případě konkrétně znamená mít přítomný pár určitého jména s koncovkami aff a dic. Do souborů aff se zaznamenávají například různá morfologická pravidla, tedy množiny předpon a přípon, obvyklé záměny písmen a další jazykové jevy. Soubory dic pak obsahují seznam slov, přičemž ke každému je možné uvést značky odkazující k pravidlům uvedeným v souboru aff. Výjimkou je první řádek souboru, který obsahuje číselné vyjádření počtu zanesených slov. Každé slovo se v tomto slovníku uvádí na zvláštní řádek. Mapování konkrétního názvu souboru na jazykovou volbu v SCUU je zaneseno v metodě setLang třídy scuu.UESDocumentHandler takto: • artifactSheets = sheet.getSheetList(artifactUri, new UESSheetGetSheetList()); Následně ve stejném prohlížeči otevřeme stránku s appletem. Pokud uživatel nemá nainstalovanou správnou verzi Javy, je přesměrován na stránku Oracle s instalačními soubory. V opačném případě je mu zobrazeno okno s povolením spuštění appletu, jak ukazuje obrázek 6. 2. ŠŤASTNÝ, M.: Prvotní představa o kontrole pravopisu v UU [online]. Bibr Pavel. 20.06.2012 16.43;. 3. Lesson: Java Applets (The Java™ Tutorials > Deployment) [online]. [cit. 2013-07-08]. Oracle Corporation and/or its affiliates (Oracle). Dostupné z URL: 4. BRŮHA, L.: Java Hotová řešení. 1. vyd. Brno: Computer Press, 2003. 325 s. ISBN 80-251-0072-3. 5. HTML 4.01 Specification [online]. 24.12.1999; [cit 2013-07-08]. World Wide Web Consortium. Dostupné z URL: 8. Deployment Toolkit [online]. [cit. 2013-07-08]. Oracle Corporation and/or its affiliates (Oracle). Dostupné z URL: 9. Java Network Launch Protocol [online]. [cit. 2013-07-08]. Oracle Corporation and/or its affiliates (Oracle). Dostupné z URL: 10. HEROUT, P.: Učebnice jazyka Java. 3. rozšířené vyd. České Budějovice: KOPP, 2008. 381 s. ISBN 978-80-7232-355-5. 11. Get ready for plug-in free browsing [online]. [cit 2014-01-05]. Microsoft. Dostupné z URL: 12. Produkty [online]. [cit. 2013-07-09]. Plus4U Net a. s. Dostupné z URL: 59 13. Komplexní informační systém nové generace. VIG Net a. s. Reklamní materiál Unicorn Universe s kódem UVS09011 22/01/2009 v002. 14. Unicorn Universe profile. Unicorn Universe a. s. Reklamní materiál Unicorn Universe s kódem UU0002EN01. 15. Unicorn ES API Portal – Main Portal [online]. 16.05.2013 12:16; [cit. 2013-07-09]. Unicorn Universe a. s. Unicorn Universe artefakt: . 16. Jak zavolat UES REST commandy [online]. 17.04.2013 16:38; [cit. 2013-07-09]. Unicorn Universe a. s. Unicorn Universe artefakt: . 17. SOAP Version 1.2 Part 1: Messaging Framework (Second Edition) [online]. 27.03.2007 [cit. 2014-01-08]. World Wide Web Consortium. Dostupné z URL: 20. OAD Use Case diagram [online]. 30.06.2011 06:54; [cit. 2014-01-04]. Unicorn College s.r.o. Unicorn Universe artefakt: 21. Comparison of open-source software hosting facilities – Wikipedia, the free encyclopedia 22. Java Native Access [online]. 12.07.2013; [cit. 2013-07-12]. Dostupné z URL: 23. NÉMETH, L.: Hunspell [online]. [cit. 2013-07-12]. Dostupné z URL: The Art of Writing & Speaking the English Language
How, then, shall we go about our mastery of the English language?
Modern science has provided us a universal method by which we may study and master any subject. As applied to an art, this method has proved highly successful in the case of music. It has not been applied to language because there was a well fixed method of language study in existence long before modern science was even dreamed of, and that ancient method has held on with wonderful tenacity.
...
