MASARYKOVA UNIVERZITA FAKULTA INFORMATIKY
Webové rozhraní pro interpret JVoiceXML
BAKALÁŘSKÁ PRÁCE
Marek Pivoda
Brno 2012
Prohlášení Prohlašuji, že tato práce je mým původním autorským dílem, které jsem vypracoval samostatně. Všechny zdroje, prameny a literaturu, které jsem při vypracování používal nebo z nich čerpal, v práci řádně cituji s uvedením úplného odkazu na příslušný zdroj.
Vedoucí práce: Mgr. Luděk Bártek, Ph.D.
ii
Poděkování Za námět práce, cenné rady při její realizaci, bych rád poděkoval vedoucímu této bakalářské práce Mgr. Luďku Bartkovi, Ph.D.
iii
Shrnutí Jádrem této práce je volně dostupný VoiceXML interpret JVoiceXML, který je napsán v jazyce Java. Výstupem této práce je návrh a implementace rozšiřujícího modulu interpreta pro komunikaci přes webové rozhraní textovou formou. Takto vytvořený modul s pomocí protokolu HTTP komunikuje s rozhraním.
iv
Klíčová slova VoiceXML, interpret, JVoiceXML, Java, servlet, JavaScript, Json
v
Obsah 1 2
3
4 5
6
7
Úvod ................................................................................................................................................ 1 Jazyk VoiceXML ............................................................................................................................ 2 2.1 Historie .................................................................................................................................... 2 2.2 Architektura............................................................................................................................. 2 2.3 VoiceXML interprety .............................................................................................................. 3 JVoiceXML ..................................................................................................................................... 4 3.1 Architektura............................................................................................................................. 4 3.2 Pomocné technologie .............................................................................................................. 5 3.2.1 Java .................................................................................................................................. 5 3.2.2 Apache Ant ...................................................................................................................... 5 3.2.3 Apache Log4j .................................................................................................................. 5 3.2.4 Servlet kontejner ............................................................................................................. 6 Analýza problému ........................................................................................................................... 7 Návrh řešení .................................................................................................................................... 9 5.1 Textová implementace JVoiceXML ....................................................................................... 9 5.1.1 Třída TextServer ............................................................................................................. 9 5.1.2 Rozhraní TextListener ..................................................................................................... 9 5.1.3 Rozhraní Session ........................................................................................................... 10 5.2 Návrh modulu........................................................................................................................ 10 5.3 Návrh webového rozhraní ..................................................................................................... 11 5.4 Komunikace .......................................................................................................................... 11 Implementace ................................................................................................................................ 13 6.1 Vývojové prostředí ................................................................................................................ 13 6.2 Textový modul ...................................................................................................................... 13 6.2.1 Funkcionalita ................................................................................................................. 13 6.2.2 Třída ModuleChat ......................................................................................................... 14 6.2.3 Třída TextClient ............................................................................................................ 16 6.3 Webové rozhraní ................................................................................................................... 17 6.3.1 Funkcionalita ................................................................................................................. 17 6.3.2 Odesílání dat .................................................................................................................. 17 6.3.3 Načítání výstupů ............................................................................................................ 18 Závěr ............................................................................................................................................. 19
vi
1 Úvod V posledních letech je stále populárnější používání hlasových služeb k obsluze zařízení. Již zcela běžné se stalo hlasové ovládání u mobilních zařízení. VoiceXML [1] je jeden z několika jazyků, který nabízí rozsáhlé možnosti pro interakci mezi člověkem a počítačem. Využívá k tomu uspořádané VoiceXML dokumenty, které tvoří dialogové aplikace, které umožňují řízenou komunikaci s počítačem. Pro spuštění dialogových aplikací je potřeba interprety VoiceXML. Jeden z volně dostupných je JVoiceXML [2], kterému je věnována tato práce. Interpret je napsán v jazyce Java [3], který umožňuje interpret škálovat a tak pohodlně rozšiřovat o nové moduly. V této práci se zaměříme na komunikaci v textové formě přes webové rozhraní. Jelikož potřebný modul interpretu chybí, je cílem práce takový modul navrhnout a sestrojit. Komunikačním protokolem bude HTTP protokol [4], který nabízí přirozený způsob komunikace pro webové rozhraní. Řešení vyžaduje, aby výsledný modul byl dostupný přes internet a současně úzce komunikoval se samotným interpretem. Webové rozhraní bude sloužit jako vstupní bod pro uživatele ke komunikaci s interpretem.
1
2 Jazyk VoiceXML VoiceXML (Voice eXtensible Markup Language) je značkovací jazyk pro návrh dialogů, který vychází ze syntaxe XML (eXtensible Markup Language) [5]. Tento jazyk slouží pro návrh hlasových dialogů, které umožňují rozpoznávání lidské řeči a následně i vytvoření syntetizované řeči jako jeden z možných výstupů. VoiceXML také navíc dokáže přijímat DTMF (Dual-tone multi-frequency signaling) [6] vstupy z telefonních zařízení. Hlavním cílem jazyka je umožnit komunikaci mezi člověkem a počítačem lidskou řečí a zpřístupnit webový obsah do dialogových systémů. V současné době má jeho vývoj pod kontrolou konsorcium W3C [7] jako projekt Voice Browser [8].
2.1 Historie Vývoj jazyka VoiceXML začal již v roce 1995, kdy společnost AT&T vytvořila projekt s názvem Phone Markup Language (PML). V této době se však existovala i řada dalších projektů zabývajících se vývojem jazyka na návrh dialogů, například společnost IBM vyvíjela SpeechML [9], Motorola VoxML [10] a HP TalkML [11]. Proto byl v roce 1998 sjednocen vývoj jazyka pod jeden projekt VoiceXML Forum [12], který měl za úkol vytvořit jednotný standard. První verze VoiceXML 1.0 vyšla v roce 2000 a stala se základem pro nový mezinárodní standard W3C, jejímž výsledkem je VoiceXML verze 2.0.
2.2 Architektura Dialogové aplikace umožňují přístup k informacím dvěma způsoby. První možností je klasický přístup přes protokol HTTP (HyperText Transfer Protocol) a webovou stránku. Druhou variantou je připojení pomocí telefonního zařízení, které naváže telefonní spojení s VoiceXML serverem. Součásti VoiceXML Serveru je VoiceXML interpret (VoiceXML browser) s nástroji na rozpoznávání řeči a syntézu řeči (text-to-speech). Další součásti modelu je dokumentový server, který je většinou nezávislý na zbytku systému a přístup k jeho obsahu se proto provádí pomocí HTTP požadavků. Dokumentový server spravuje servisní logiku a podle probíhající komunikace může generovat dynamické webové stránky. Jako dokumentový server může být použit HTTP server. Celá architektura sytému je znázorněna na obrázku 2.1 [13]. VoiceXML nabízí několik málo základních principů, které umožňují zjednodušit samotný vývoj: Minimalizuje komunikaci mezi klientem a serverem Režie serveru je oddělena od uživatelského kódu Programátor nemusí řešit nízko-úrovňové programování a podporu platformy Přenositelnost napříč všemi platformami Poskytuje silné nástroje s jednoduchým použitím
2
Obrázek 2.1: Schéma architektury VoiceXML
2.3 VoiceXML interprety Pro zpracování VoiceXML dokumentu je zapotřebí VoiceXML interpret, který dokáže zprostředkovat komunikaci mezi člověkem a počítačem. Tento interpret bývá ve většině případů připojen k veřejné telefonní síti. Pomocí modulu pro rozpoznávání řeči je pak následně umožněno zpracování a vyhodnocení audio vstupu. Uživateli je kromě hlasové komunikace umožněno využít klávesnici na telefonu metodou DTMF. Na trhu existuje několik VoiceXML interpretů, mezi nimiž jsou cenové rozdíly podle distribuční licence. Liší se však často i podporou operačního systému, nebo programovacím jazykem, ve kterém je interpret napsaný. Komerční interprety poskytují komplexnější řešení a rozsáhlejší podporu standardu VoiceXML 2.0. Interprety s otevřenou licencí nemusí mít vždy úplnou podporu standardu, za to však nabízí možnost si libovolně nedostatky sám naprogramovat. Příkladem komerčního řešení je např. Voxeo ProphecyI [14], k volně dostupným interpretům patří např. Open VXI VoiceXML Interpreter [15] napsaný v C/C++, nebo JVoiceXML napsaný v Javě. V této práci se budeme zabývat interpretem JVoiceXML.
3
3 JVoiceXML JVoiceXML je volný VoiceXML interpret napsaný v jazyce Java, jenž podporuje standardy VoiceXML 2.0 a jeho rozšíření VoiceXML 2.1. Je navržen pro vytváření hlasových dialogů, včetně syntézy řeči, digitalizace zvuku, rozpoznávání řeči a jeho nahrávání. Mimo jiné zvládá práci s telefony pomocí DTMF vstupů a tvorbu VoiceXML dokumentů. Využívá GNU library general public licenci [16], která poskytuje možnost bezplatného použití JVoiceXML knihovny v komerčních projektech. Všechny zdroje jsou volně dostupné na serveru SourceForge.net.
3.1 Architektura JVoiceXML je napsán v objektově orientovaném jazyce Java, díky němuž je JVoiceXML na platformě nezávislý. Pro zajištění chodu JVoiceXML je zapotřebí dokumentového serveru. Jako dokumentový server je běžně využíván web server, pro ukládání VoiceXML dokumentů je však možné použit i servlet [17] kontejnery. Dokumenty bývají přístupné přes HTTP nebo jiné typy protokolů. JVoiceXML běží jako samostatný server. Funguje jako hlavní komponenta, která obsahuje interpret, získává data z dokumentového serveru a vytváří sezení s klientskými aplikacemi. Při instalaci je možné vybrat z několika platforem lišících se podporou vstupu a výstupu. Pro rozpoznávání řeči a její syntézu slouží platforma JSAPI (Java Speech API) [18], pro ovládání telefonních hovorů pak platforma JTAPI (Java Telephony API) [19], a pro komunikaci textovou formou platforma textová. Poslední komponentu architektury tvoří klientská aplikace, která k JVoiceXML přistupuje pomocí JNDI (Java Naming and Directory Interface) [20] a RMI (Remote Method Invocation) [21], a díky čemuž dokáže aplikace vzdáleně volat Java třídy interpreta a jeho metody. Viz obrázek 2.1 [22].
Obrázek 2.1: Základní architektura JVoiceXML
4
3.2 Pomocné technologie Největší výhodou JVoiceXML je otevřená licence LGPL, pod kterou je program distribuován, což je dáno především použitím volně dostupných softwarů a technologií. Kromě programovacího jazyku Java jsou využívány např. programy Ant, Log4j a servlet kontejner.
3.2.1 Java JVoiceXML je naprogramovaný v objektově orientovaném jazyce Java. To umožňuje jednoduché dělení celého programu na moduly, a tím i snadné rozšíření o případné další moduly. Modul je tvořen jednou a více třídami, které využívají základní metody z jádra JVoiceXML. Pokud se uživatel rozhodne pro vývoj, potřebuje Java EE 6 SDK (Software Development Kit) verze 6.
3.2.2 Apache Ant Apache Ant je pomocný nástroj pro vývojáře v jazyce Java používaný zejména ve větších projektech s více než jedním programátorem. Ant bývá používán k automatizaci některých činností, jako jsou např. kompilace programu, testování a vytvoření balíku pro distribuci, apod. Skripty jsou napsány ve formátu XML. Za vývojem stojí organizace Apache Software Foundation [23]. Doporučená verze k JVoiceXML je alespoň 1.7.0. Většina Java IDE (Integrated Development Environment) již má podporu pro Ant.
3.2.3 Apache Log4j Apache Log4j je pokročilý logovací nástroj pro jazyk Java. V současnosti je vyvíjen organizací Apache Software Foundation [24] pod otevřenou licencí Apache License 2.0. Log4j nabízí rozsáhlou podporu pro zaznamenávání běhu programu s pomocí několika úrovní zpráv. Viz tabulka 3.1. V JVoiceXML je použita verze 1.2.15.
5
Úroveň
Popis
OFF
Nejvyšší možná úroveň, vypíná logování.
FATAL
Závažné chyby, které způsobí předčasné ukončení programu. Očekává se, že budou zobrazeny na konzole.
ERROR
Jiné běhové chyby nebo neočekávané výjimky. Očekává se, že budou ihned zobrazeny na konzole.
WARN
Použití nechváleného API, jiné nežádoucí nebo neočekávané běhové situace, které nemusí být nutně špatné. Očekává se, že budou ihned zobrazeny na konzole.
INFO
Zajímavé běhové události (start/konec). Očekává se, že budou ihned zobrazeny na konzole, proto pouze stručná zpráva.
DEBUG
Detailní informace o chodu systému. Očekává se, že budou zapisovány pouze do logů.
TRACE
Bližší informace. Očekává se, že budou zapsány pouze do logů, od verze 1.2.12. Tabulka 3.1: Seznam úrovní logů
3.2.4 Servlet kontejner K plnému nasazení JVoiceXML je potřeba servlet kontejneru, který může sloužit jako dokumentový server. Servlet kontejner podporuje Java API javax.servlet. V současnosti existuje celá řada volně dostupný servletů. Asi nejvíce rozšířený a také pro JVoiceXML doporučený je Apache Tomcat [25] vyvíjený organizací Apache Software Foundation. Mezi další volně dostupné servlety patří GlassFish [26], JBoss Application Server [27], Jetty [28] aj. Jelikož mezi servlety nejsou výraznější rozdíly, je výběr servletu k JVoiceXML čistě na vývojáři. V této práci jsme zvolili servlet Jetty.
6
4 Analýza problému Výsledek této práce má JVoiceXML rozšířit o možnost komunikovat s uživatelem přes jednoduché webové rozhraní. Z důvodu zobrazení vstupů uživatele a výstupů interpreta v textové formě byla použita textová platforma JVoiceXML. Vstupní a výstupní webové rozhraní by mělo uživateli nabídnout několik základních funkci k obsluze, a také zpracovávat vstupní a výstupní textové řetězce do odpovídajícího formátu tak, aby vznikl pomyslný vzhled chatu mezi uživatelem a počítačem. Každá zpráva by měla být označena jménem odesílatele. Uživatelské požadavky jsou poté přes webové rozhraní posílány na jednoduchý server. Využití webového rozhraní je znázorněno na obrázku 4.1.
Obrázek 4.1: Diagram užití I/O rozhraní
Vstupní/výstupní webové rozhraní nabízí uživateli dvě varianty zvolení dokumentu. První varianta uživateli umožňuje vybrat dokument přes protokol HTTP. Druhou variantou je načtení dokumentu z lokálního úložiště interpreta. Rozhraní musí vytvořit seznam dostupných dokumentů. Uživatel dále může spustit interpretaci daného dokumentu a také jí následně ukončit. Během interpretace dokumentu rozhraní zobrazuje chronologicky vstupy a výstupy. Uživatel má možnost vkládat vstupy a odesílat je. Na straně druhé je jednoduchý chat modul umístěn mezi webové rozhraní a interpret a zastupuje funkci jednoduchého serveru a rozšiřujícího modulu pro JVoiceXML. Chat modul zajišťuje spojení mezi rozhraním a textovou platformou JVoiceXML a jako server musí přijímat a rozpoznávat
7
HTTP požadavky od webového rozhraní a následně na ně adekvátně reagovat. Současně však musí obsluhovat připojení k interpretu, vytvořit, udržet a zrušit sezení s interpretem, odesílat uživatelské vstupy interpretu a opačným směrem posílat odpovědi interpreta. Hlavní požadavky na modul jsou zachyceny na obrázku 4.2. Celé řešení pracuje na principech klient-server.
Obrázek 4.2: Diagram užití modul chat
8
5 Návrh řešení V této kapitole se podrobněji zaměříme na problematiku textové implementace JVoiceXML a návrhu jeho webového rozhraní z pohledu použitých technologií. Celý návrh je následně doplněn diagramem tříd.
5.1 Textová implementace JVoiceXML Textová implementace JVoiceXML je ukrytá v API org.jvoicexml.implementation.text. Třináct tříd v ní obsažených poskytuje dostatečný prostor pro vývojáře. V této práci nás zajímají hlavně třídy z podbalíku org.jvoicexml.implementation.text, který obsahuje čtyři třídy a jedno rozhraní.
5.1.1 Třída TextServer Třída TextServer slouží jako rozhraní pro připojení k interpretu JVoiceXML textovou formou. Třída funguje jako socket server implementující rozhraní Runnable. K serveru se následně připojují textoví klienti, v našem případě chat modul. Připojený textový klient je pak schopen číst výstupy od interpreta a odesílat zpět odpovědi. Textový klient je definován rozhraním TextListener. Třída TextServer je schopna registrovat a následně obsluhovat až 28 textových klientů. Díky třídě Thread, kterou TextServer rozšiřuje, dokáže server zpracovávat požadavky paralelně. Po spuštění si server ukládá své posluchače pomocí metody addTextListener(TextListener). Pro odeslání uživatelského vstupu na interpret slouží metoda sendInput(String). Činnost serveru se ukončí metodou stopServer().
5.1.2 Rozhraní TextListener Předepsané rozhraní TextListener nabízí celkem pět veřejných metod, které musí každý textový klient libovolně implementovat. Těchto pět základních metod zajišťují jednotné ovládání s TextServerem, viz tabulka 5.1. Mezi nejdůležitější metody patří outputSsml(org.jvoicexml.xml.ssml.SsmlDocument) a outputText(String), které mají obsluhovat příjem výstupů od interpreta. Metoda outputSsml pracuje se souborem typu SSML (Speech Synthesis Markup Language) [29], často používaný pro tvorbu audio knih. Vhodnější metoda pro tuto práci je outputText, která využívá pouze textové řetězce. Další zbylé metody se týkají navázání spojení se serverem.
9
návratový typ
metoda
void
connected(InetSocketAddress)
void
outputSsml(org.jvoicexml.xml.ssml.SsmlDocument)
void
outputText(String)
void
started()
void
disconnected() Tabulka 5.1: Seznam metod rozhrani TextListener
5.1.3 Rozhraní Session Rozhraní Session je umístěné v balíku org.jvoicexml. Definuje sedm základních funkcí pro vytvoření sezení mezi interpretem a klientem. Vzdálený klient spouští komunikaci a sezení s interpretem pomocí metody call(URI), během níž se načte kořenový dokument a začne jeho interpretace. Další důležitou funkcí je hangup(), která slouží k ukončení sezení, a metoda waitSessionEnd(), která čeká na konec sezení. Tyto tři nejdůležitější metody jsou použity ve třídě TextClient.
5.2 Návrh modulu Výsledný modul musí umět simulovat server pro komunikaci s webovým rozhraním a současně navázat spojení s TextServerem, proto je nezbytná implementace rozhraní TextListener. Z těchto důvodu byly vytvořeny dvě třídy, každá třída funkcionálně jednoznačná. Třída ModuleChat představuje servlet, umístěn v kontejneru Jetty. Rozšiřuje třídu HttpServlet, obsluhuje HTTP požadavky a jejich odpovědi metodou doPost. Současně uchovává všechny zprávy celé komunikace a postupně je vypisuje. Třída TextClient zastupuje textového klienta, která má na starost připojení k TextServeru. Implementuje třídu TextListener. Nejdůležitější metody jsou outputSsml a outputText pro získávání výstupu od interpreta, dále pak metoda sendInput pro posílání uživatelského vstupu interpretu. Metoda execute spouští interpretaci daného dokumentu. O samotné připojení k TextServeru se starají metody started a disconnected. Na obrázku 5.2 je znázorněn diagram tříd.
10
Obrázek 5.2: Diagram tříd
5.3 Návrh webového rozhraní Druhou částí aplikace je webové rozhraní sloužící jako vstupní uživatelské rozhraní, pomocí něhož bude uživatel přistupovat k obsluze JVoiceXML. Uživatelské rozhraní je spustitelné v libovolném webovém prohlížeči. K sestrojení uživatelského rozhraní byly použity běžné webové technologie jako HTML (Hyper Text Markup Language) [30], CSS (Cascading Style Sheets) [31] a AJAX (Asynchronous Javascript And Xml) [32]. Layout celého rozhraní tvoří vstupní a výstupní prvky. Největší část tvoří výstupní textové pole umístěné v horní polovině rozhraní. Do pole se vypisují komunikace mezi interpretem a uživatelem. Výstupní pole má fixní rozměry a v případě většího obsahu se vytvoří vertikální rolovací lišta. Ve spodní polovině rozhraní jsou umístěny vstupní prvky, vstupní textové pole pro zadávání uživatelských vstupů a ovládací tlačítka, např. pro odesílání.
5.4 Komunikace V této podkapitole jsou popsány některé vztahy při komunikaci modulu. Detailnější popis zahrnující danou implementaci je v 5. Kapitole. Uživatelské rozhraní reprezentuje HTML stránka, proto veškerá komunikace s modulem je zastoupena protokolem HTTP, který poskytuje pro HTML nativní nástroj. Přímo pro odesílání dat z rozhraní je využita metoda POST, a to zejména pro potřebu posílání většího množství dat, než by bylo vhodné pro metodu GET. Současně je potřeba posílat různé HTTP požadavky, které musí být následně na straně serveru identifikovány a dále zpracovány, požadavek na spuštění interpretace, požadavek na ukončení interpretace, zasílání uživatelských odpovědí a požadavky na získávání dat od interpreta.
11
Na straně serveru je vytvořeno spojení s interpretem. Při startu serveru třída ModuleChat vytváří novou instanci třídy TextClient. Následně pří obdržení spouštěcího HTTP požadavku třída ModuleChat volá metodu call(URI) třídy TextClient, a tím spouští interpretaci daného VoiceXML dokumentu. Třída TextClient komunikuje s třídou TextServer pomocí předem definovaného rozhraní TextListener. Třída TextClient vytváří instanci třídy TextServer na daném portu a je pak následně přidána jako její posluchač. TextClient posílá výstupy interpretu pomocí metody sendInput(String). Odpovědi interpreta jsou metodami outputText() a outputSsml() posílány třídě ModuleChat. Komunikace mezi třídou TextServer a interpretem je součásti textové implementace JVoiceXML a proto v této práci není dále rozebírána.
Obrázek 5.3: Schéma komunikace
12
6 Implementace Tato kapitola je věnována implementaci výsledného řešení, jehož součásti je textový modul a vstupní rozhraní. Detailněji jsou zde popsány struktury tříd a důležitých metod. První polovina kapitoly je věnována řešení textového modulu, který rozšiřuje interpret. V druhé části kapitoly je pak nastíněno chování webového rozhraní, sloužící jako vstupní rozhraní pro textový modul.
6.1 Vývojové prostředí Textový modul byl vyvíjen jako rozšiřující modul k interpretu JVoiceXML, který umožní komunikovat textovou formou přes webové rozhraní. Jako testovací verze interpreta byla použita poslední dostupná verze 0.7.4.GA, jež je k dispozici ke stažení na serveru sourceforge.net. K napsání textového modulu byl použit jazyk Java vycházející z požadavku interpreta, který je také napsán ve stejném programovacím jazyce. Jako vývojové prostředí k Javě bylo použito NetBeans [33]. Dále byl použit program ANT, který byl součásti NetBeans, k vytváření WAR souborů. Celé řešení pak bylo testováno na servlet kontejnerech Jetty a Apache Tomcat.
6.2 Textový modul Textový modul slouží jako server spouštěn na servlet kontejneru, který obsluhuje HTTP požadavky od webového rozhraní a současně navazuje spojení s interpretem, přijímá výstupní data od interpreta a posílá vstupní data. Textový modul se skládá z 2 tříd ModuleChat a TextClient. Třída ModuleChat rozšiřuje třídu HttpServlet z balíku javax.servlet.http a slouží jako server. Druhá třída TextClient zastupuje posluchače k třídě TextServer, která je součásti textové platformy interpreta. TextClient implementuje rozhraní TextListener.
6.2.1 Funkcionalita Textový modul je spuštěn na Java servletu, od webového rozhraní přijímá především POST požadavky, které jsou rozlišeny na 4 typy. Pro výměnu dat je zvolen datový formát JSON (JavaScript Object Notation), který je platformě nezávislý a oproti XML může být úspornější [34]. Každý typ požadavku je odlišený klíčem type. Pro hodnotu klíče type byla vybrána číselná hodnota, např. ‘type‘: 0. První požadavek je typu FILE, jeho úkolem je zjistit a vypsat obsah složky file, která slouží jako úložiště pro vxml dokumenty. Další požadavek je START, slouží k zahájení interpretace, součásti požadavku je adresa na kořenový vxml dokument dialogové aplikace. Tato URL se pak stává parametrem funkce execute, která je součásti vytvořené instance třídy TextClient. Metoda execute vytvoří spojení s TextServerem a získá výstup od interpreta. Třetí požadavek je typu UPDATE. Po obdržení požadavku modul porovná počet všech uložených zpráv s počtem již odeslaných zpráv na rozhraní. V případě, že počty zpráv nesedí, modul
13
odešle neodeslané zprávy na rozhraní. Požadavek UPDATE je automaticky posílán v intervalu několika sekund. Čtvrtý požadavek je typu SEND, pomocí něhož rozhraní posílá uživatelské vstupy interpretu. Modul obdrží výstup v textové podobě, který metodou sendInput odesílá interpretovi. Následně pak výstup upraví do odpovídajícího tvaru, přidá jméno odesílatele (User) a uloží do seznamu listOfMessages. Poslední požadavek STOP signalizuje ukončení interpretace od uživatele. Modul zruší sezení s interpretem a vymaže všechny uložené zprávy. Tabulka 6.1 znázorňuje číselné rozložení požadavků. Podrobnější popis reakcí na HTTP požadavky u metody doPost.
Typ požadavku
Číselná hodnota function
FILE
0
START
1
UPDATE
2
SEND
3
STOP
4 Tabulka 6.1: Přehled typů požadavků
6.2.2 Třída ModuleChat Třída ModuleChat je hlavní třídou celého modulu, slouží jako spojovací uzel mezi webovým rozhraním a třídou TextClient. Pomocí třídy HttpServlet, kterou rozšiřuje, plní funkci servletu. Třída je inicializována při startu kontejneru Jetty metodou init(). Po startu je třída připravena přijímat HTTP požadavky od rozhraní, především pak požadavky odeslané metodou POST. O třídění a zpracování POST požadavků se stará metoda doPost(), která je součásti třídy HTTPServlet. V doručených požadavcích jsou data distribuované ve formátu JSON , pro jejich zpracování potřebuje třída externí knihovnu třetí strany. Existuje několik Java knihoven pro zpracování JSON, v této práci jsme použili volně dostupnou knihovnu JSON.simple [35]. Mezi další Java knihovny patří GSON [36], JsonLib [37] a FlexJson [38], aj. Dále má třída tři důležité parametry – numOfMessages, listOfMessages a textClient. Parametr NumOfMesages reprezentuje číselnou hodnotu typu int, která uchovává počet zpráv vypsaných na webovém rozhraní. Druhý důležitý parametr je textClient jenž uchovává odkaz na instanci třídy TextClient. Třetí parametr listOfMessages zastupuje seznam všech doručených zpráv od uživatele a interpreta. Zprávy jsou uložené jako typ String. Typ seznamu byl zvolen jako ArrayList a to pro své výhody, možnost přístupu k libovolnému prvku seznamu v konstantním čase O(1) a dynamické zvyšování kapacity seznamu. Každá zpráva v seznamu je uložena ve tvaru <span class='user'>UserZpráva nebo <span class='system'>SystemZpráva, podle toho kdo jí poslal.
14
Metoda doPost Metoda doPost řídí celý běh textového modulu a proto je nejdůležitější metodou. Metoda přijímá HTTP požadavky odeslané metodou POST, podle jejichž typu se pak určuje chování modulu. Metoda je rozdělena na pět větví podle typu požadavků, větvení se provádí pomocí příkazu SWITCH. Třídění požadavků se provádí podle jeho typu, který je reprezentován číselným indexem. Typ HTTP odpovědí vytvořených metodou je nastaven na application/json;charset=UTF-8. Pro vytvoření odpovědi ve formátu JSON byla použita třída JSONObject z balíku org.json.simple.JSONObject, následně pak byly vytvořeny dvojice klíč : hodnota. Takto hotový objekt byl pak převeden na řetězec pomocí metody toJSONString(), která zajistila zachování validity formátu. V případě požadavku typu FILE, byl vytvořen JSONObject s názvy všech vxml souborů vypsaných do seznamu pod klíč file. Požadavek typu START vrací jako odpověď vybraný vxml dokument, který slouží jako root dokument dialogové aplikaci. Odpověď pro požadavek typu UPDATE obsahuje dva klíče, text a num. Pod klíč num je uchován počet celkem odeslaných zpráv na rozhraní. Klíč text reprezentuje nové zprávy pro rozhraní. V případě existence nových zpráv je vytvořen z nich seznam, v opačném případě je hodnota false. Větev pro požadavek typu SEND rozlišuje požadavky na běžné uživatelské vstupy a na název spouštěcího vxml dokumentu. Pokud příchozí zpráva obsahuje název vstupního vxml dokumentu, V případě vxml souboru je jeho adresa uložena metodou setURI. Jako odpověď pro všechny požadavky vrací počet uložených zpráv. Poslední větev zpracovává požadavek typu STOP, ten vrací jako odpověď řetězec finished interpreting. Tabulka 6.1 obsahuje ukázky odpovědí pro některé typy požadavků.
15
Typ požadavku
Odpověď {
FILE
START
UPDATE (nová zpráva)
UPDATE (žádná zpráva)
"file":[ "input.vxml", "kopie.vxml" ] } { "url":"http://localhost:8080/ModuleChat/file/input.vxml" } { "text":[ "<span class='user'>User<\/span>hello world!" ], "num":1 } { "text":false, "num":1 } Tabulka 6.1: Přehled HTTP odpovědí
6.2.3 Třída TextClient Textová platforma interpreta je implementována pomocí třídy TextServer, která vytváří prostředníka mezi interpretem a klientem, posluchačem. Aby bylo možné navázat bezproblémové spojení s interpretem, resp. s TextServerem, musela být vytvořena třída TextClient. Pro dodržení kompatibility s interpretem musí každý klient implementovat rozhraní TextListener z knihovny JVoiceXML z podbalíku org.jvoicexml.implementation.text a rozšiřuje třídu Thread. Po startu modulu je vytvořena instance třídy, odkaz na ní je uložen do parametru třídou ModuleChat, spouští se pro vytvoření nového sezeni s interpretem. Při tvorbě sezení je uložen objekt typu TextServer z balíku org.jvoicexml.client.text do parametru textServer. Samotné sezení s interpretem je uložené do parametru session typu Session z balíku org.jvoicexml. Parametr connected typu boolean udává, jestli je klient připojen k interpretu. Metoda outputText Hlavní metoda pro příjem výstupů od interpreta, jako parametr metody je textový řetězec typu String. Metoda k výstupu přidává řetězec <span class='system'>System. Následně je takto vytvořený řetězec vložen na konec seznamu listOfMessages ve třídě ModuleChat. Metodu outputText využívá i metoda outputSsml.
16
Metoda execute Metoda execute spouští interpretaci vxml dokumentu. Jako první nastaví vlastnosti pro připojení pomocí RMI (Remote Method Invocation), následně pomocí metody lookup(“JVoiceXml“) z balíku java.rmi.Naming získá klient vzdálené rozhraní typu Remote z balíku java.rmi.Remote, které musí následně přetypovat na JVoiceXml. Nakonec metoda vytvoří instanci TextServeru a samotné sezení mezi ním. Struktura metody execute vychází z uživatelské příručky JVoiceXML.
6.3 Webové rozhraní Webové rozhraní má za úkol umožnit uživateli připojení k interpretu a obsluhu interpretace dokumentu. Rozhraní se připojuje k textovému modulu pomocí HTTP protokolu, pomocí něhož odesílá požadavky metodou POST. Pro přenos dat byl vybrán formát JSON a to zejména pro kombinaci s AJAXem. Rozhraní funguje jako HTML stránka, která obsahuje ovládací prvky, na které jsou navázány události řízené pomocí JavaScriptu. Webové rozhraní je uloženo na lokální adrese http://localhost:8080/ModuleChat/. Kromě html stránky je součásti rozhraní CSS soubor style.css, který má na starost formátování prvků na stránce. A soubor chat.js ve formátu JavaScript, který obsahuje pro větší přehlednost hlavní funkce rozhraní.
6.3.1 Funkcionalita Navržené webové rozhraní poskytuje možnost uživateli se připojit k interpretovi a vytvořit vzájemnou komunikaci pomoci vkládání textových vstupů. Rozhraní je vytvořeno pomocí webových technologií, jako jsou HTML, CSS, JavaScript s použitím frameworku jQuery [5.3]. Uživatel přistupuje k rozhraní pomocí webového prohlížeče, komunikace s interpretem je prováděna pomoci protokolu HTTP. Výstupy všech komunikujících stran jsou vypsány v horní části stránky. Vkládání vstupů od uživatele je prováděno pomocí formuláře, který je tvořen textovým polem. Uživatel má k dispozici čtyři tlačítka – Send, Select file, Start a Stop. Zahájení činnosti rozhraní je přes tlačítko Select file, to vyvolá vypsání na výstup všech možných vstupních vxml dokumentů a uživatel je vyzván, aby zadal název jednoho z dokumentů. Samotné zahájení interpretace vybraného dokumentu se provádí pomocí tlačítka Start. Poté je již rozhraní připravené přijímat a odesílat vstupy. Ukončení interpretace se uskuteční tlačítkem Stop, kdy je odesílání vstupů a jejich vypisování zablokováno. Interpretace se pak znovu spouští přes výběr nového dokumentu, tlačítko Select file. Odesílání vstupu z textového pole je přes tlačítko Send nebo klávesu ENTER, bez nutnosti znovu načtení stránky. Volání funkcí je omezeno pravdivostní hodnotou instanse, která funguje jako přepínač, její hodnotu může změnit jen funkce selectFile a StopChat.
6.3.2 Odesílání dat Pro zadávání textových vstupu slouží textové pole ve spodní části stránky. Samotné odesílání je aktivováno tlačítkem Send nebo klávesou Enter. Textové vstup je omezen na rozsah 100 znaků. Na samotné psaní vstupu jsou vázány jQuery funkce keydown a keyup. Funkce Keydown kontroluje počet zadaných znaky, v případě překročení limitu se text automaticky ořízne. Funkce keyup odchytává zmáčknutí klávesnice Enter, jejiž keycode je 13, způsobí zavolání funkce sendChat.
17
Funkce sendChat vytváří HTTP požadavek pomocí metody jQuery.ajax [39]. Požadavek obsahuje parametry message, nickname a type. Parametr message reprezentuje text vstupu, nickname uchovává jméno odesílatele a type je index funkce, podle které bude třída ModuleChat třídit.
6.3.3 Načítání výstupů Načítání všech výstupů od interpreta a od uživatele obstarává funkce updateChat. Funkce je spouštěna v intervalech po 15 sekundách. Jako první jí volá funkce selectFile, která má na starost vypisování dostupných vxml dokumentů. Při každém zavolání funkce vytvoří HTTP požadavek obsahující identifikační číslo type a číselnou hodnotou state, která udává počet zobrazených zpráv na rozhraní. V případě existence nových zpráv na modulu, jsou obratem nové zprávy odeslány jako HTTP odpověď ve formátu JSON. Následně je pak funkce updateChat postupně vypíše na výstup.
18
7 Závěr Práce měla za cíl navrhnout a implementovat textový modul pro JVoiceXML, který měl interpret rozšířit o možnost komunikovat přes webové rozhraní. A současně vytvořit pro něj toto webové rozhraní. V úvodní části práce jsou popsány bližší informace o VoiceXML a JVoiceXML a dalších potřebných technologií. Následuje analýza problému textového modulu a jeho návrh. Poslední část je věnována samotné implementaci. Výsledný textový modul musí zvládat komunikovat s rozhraním a současně s interpretem. První část úkolu, komunikace s rozhraním se víceméně podařila úspěšně. V druhé části se však již nepodařilo navázat spojení s interpretem, třída TextClient nedokázala vytvořit sezení s třídou TextServer.
19
Literatura [1]
VoiceXML – Voice eXtensible Markup Language. http://en.wikipedia.org/wiki/VoiceXML.
[2]
JVoiceXML – The Open Source VoiceXML Interpreter. http://jvoicexml.sourceforge.net/.
[3]
ORACLE. Java – Object Oriented Programming Language. http://www.oracle.com/technetwork/java/index.html
[4]
W3C. HTTP – Hypertext Transfer Protocol. http://www.w3.org/Protocols/.
[5]
W3C. XML – eXtensible Markup Language. http://www.w3.org/XML/.
[6]
DTMF – Dual Tone Multi Frequency Signaling. http://nemesis.lonestar.org/reference/telecom/signaling/dtmf.html.
[7]
W3C – World Wide Web Consortium. http://www.w3.org/.
[8]
W3C. Voice Browser. http://www.w3.org/Voice/
[9]
IBM. SpeechML. http://xml.coverpages.org/speechML.html.
[10]
Motorola. VoxML. http://xml.coverpages.org/voxML.html
[11]
W3C. TalkML. http://www.w3.org/Voice/TalkML/
[12]
VoiceXML Forum. http://www.voicexml.org/
[13]
Components of a VoiceXML Application. http://www.scis.ulster.ac.uk/~kevin/top_voi2.html.
[14]
Voxeo Corporation. VoiceCenter IVR. http://www.voxeo.com/products/voicexml-ivr-platform.jsp.
[15]
Vocalocity. OpenVXI. http://sourceforge.net/projects/openvxi/.
[16]
GNU. GNU Library general public licence. http://www.opensource.org/licenses/lgpl-license.php.
[17]
ORACLE. Java Servlet. http://www.oracle.com/technetwork/java/javaee/servlet/index.html.
[18]
SUN. JSAPI – Java Speech API. http://java.sun.com/products/java-media/speech/.
20
[19]
SUN. JTAPI – Java Telephony API. http://java.sun.com/products/jtapi/.
[20]
SUN. JNDI – Java Naming Directory Interface. http://java.sun.com/products/jndi/.
[21]
Oracle Technology Network. RMI – Remote Method Invocation. http://www.oracle.com/technetwork/java/javase/tech/index-jsp-136424.html.
[22] Schnelle-Walka, Dirk. JVoiceXML 0.7.4.1.GAUser Guide. http://garr.dl.sourceforge.net/project/jvoicexml/userguide/0.7.4.1.GA/jvxml-userguide-0.7.4.1.GA.pdf [23]
Apache Ant. Apache Software Foundation. http://ant.apache.org.
[24]
Apache Log4j. Apache Software Foundation. http://logging.apache.org/log4j/.
[25]
Apache Tomcat. Apache Software Foundation . http://tomcat.apache.org/
[26]
GlassFish Application Server. http://glassfish.java.net/
[27]
JBoss Application Server. http://www.jboss.org/jbossas
[28]
Jetty Webserver. http://www.eclipse.org/jetty/
[29]
W3C. Speech Synthesis Markup Language. http://www.w3.org/TR/speech-synthesis/.
[30]
W3C. Hyper Text Markup Language. http://www.w3.org/TR/1999/REC-html401-19991224/.
[31]
W3C. Cascading Style Sheets. http://www.w3.org/TR/CSS2/.
[32]
Asynchronous Javascript And Xml. http://www.adaptivepath.com/ideas/ajax-new-approachweb-applications.
[33]
NetBeans IDE. http://netbeans.org/.
[34]
JavaScript Object Notation. http://www.json.org/.
[35]
JSONLib java library. http://json-lib.sourceforge.net/.
[36]
GSON java library. http://code.google.com/p/google-gson/.
[37]
JSON.simple java library. http://code.google.com/p/json-simple/.
[38]
FlexJson java library. http://flexjson.sourceforge.net/.
[39]
jQuery API. Method jQuery.ajax. http://api.jquery.com/jQuery.ajax/.
21
