Java alapú hordozható kliens vakok számára, hálózati szolgáltatások elérésére Juhász Zoltán1 Arató András2 Hevesi Vilmos1 Pratser Frigyes1 1Veszprémi
Egyetem Információs Rendszerek Tanszék 2KFKI RMKI Beszéd- és Rehabilitáció-technológiai Osztály
Előzmények l
IHM-OM K+F program (ITEM) l
l l
Az információs társadalom megvalósulását elősegítő innovatív technológiai megoldások kialakítására A „segítő háló” terület A fogyatékkal élő felhasználók számára: l
l
2004. május 4.
Speciális, jól használható infokommunikációs eszközök kutatása-fejlesztése információs társadalomban részvétel támogatása
Networkshop 2004, Győr
2
Jelenlegi „vakos” technológia l
Hagyományos PC l
l
Képernyő olvasó program l
l
100-300 eFt 200-250 eFt
Braille olvasó egység l
Kb. 800 eFt – 1-2 mFt
2004. május 4.
Networkshop 2004, Győr
3
Egyedi készülékek l
Windows-alapú „laptop” l
l
l
Braille bemenet, hang kimenet, kb. 400 eFt Hagyományos windows és képernyő olvasó
PocketPC-alapú rendszer (PDA) l
l
Braille bemenet, hang kimenet, kb. 500 eFt Braille bemenet/ kimenet Még drágább
2004. május 4.
Networkshop 2004, Győr
4
l l l l
l
l
2004. május 4.
Networkshop 2004, Győr
Költséges megoldások Képernyő olvasó nehézkes Adatbevitel problémás Nem hordozható Alapvető használhatósági problémák Kb. 2 millió vak és gyengénlátó van Europában 5
Ideális megoldás l l
Olcsó, hordozható, kiegészítést nem igényel Vakok számára megfelelő ergonómia l
Egyszerű adatbevitel és vezérlés
2004. május 4.
A
Á
Ä
B
C
Cs
D
E
J
K
L
Ly
M
N
Ny
O
Networkshop 2004, Győr
6
PDA - kéziszámítógép Title
l l
X
100-200 eFt Megfelelő hardver Hangszóró (Beszédszintetizátor) Text field
Érintőképernyő (Braille billentyűzet) Nyíl gombok (Navigáció és programvezérlés) 2004. május 4.
Networkshop 2004, Győr
7
Projekt feladatok l
Kliens eszköz és prototípus alkalmazások kifejlesztése l
Vak felhasználói felület létrehozása l l l
l
Hibrid hangoskönyv kifejlesztése l l
l
Könyvön belüli navigáció Olvasás felvett emberi, ill. mesterséges hangon
További alkalmazások l
l
Virtuális Braille billentyűzet Nem grafikus menürendszer (nyilak) Beszédszintetizátor
jegyzetfüzet, számológép, címjegyzék, stb.
Hálózati alkalmazások vizsgálata, fejlesztése
2004. május 4.
Networkshop 2004, Győr
8
A rendszer felépítése, működése l
Főbb egységek l l l
Braille bevitel Navigáció Beszédszintetizátor (TTS)
Gombnyomás
Braille egység
Menü egység
2004. május 4.
TTS egység
Alkalmazás
Networkshop 2004, Győr
9
Navigáció l
Speciális dinamikus menürendszer l l
l
l l
l
l
l
Új bejegyzés Megnyitás Nyomtatás
Számológép Hangoskönyv l l
Felolvasás Könyvjelzők l
Többféle interfész elem l
l
l
l
Le/fel nyíl – választás Jobb nyíl – végrehajtás Bal nyíl – visszalépés
Jegyzetfüzet l
Fa struktúra Végrehajtható programrész a levelekben
Navigációs szabály l
l
l
Menü, Lista, Dialógus, SzövegMező, Gomb
l
l
Beállítások l
Tetszőleges program használhatja l
Összekötés eseménykezelő segítségével
2004. május 4.
Networkshop 2004, Győr
Beszúrás Törlés ... Felolvasási mód § §
l
Felvett hang Szintetizátor
...
10
Braille-karakter bevitel l
Eseményvezérelt programozási modell l l
Virtuális gombok lenyomása Pontkombináció értelmezése, feldolgozása l
l
Bináris kód à Braille karakter à MetaBraille à ASCII karakter
Üzemmód l
Normál vagy rövidírás l l l
2004. május 4.
Pl. ‘ogb’ à országban MetaBraille kód feldolgozása állapotgéppel Többnyelvű támogatás is lehetséges
Networkshop 2004, Győr
11
Beszédszintetizátor (TTS) l l
ASCII karaktersorozatot alakít beszéddé Klatt formáns szintetizátor l
l
Jelenleg C nyelvi implementáció l
l
KFKI fejlesztés Jövőben remélhetően Java
Egyszerű felhasználás l
tts.say(„országban”);
2004. május 4.
Networkshop 2004, Győr
12
Java implementáció l
Moduláris felépítésű program l
Belső építőelemek lecserélhetők l l l
Új nyelv támogatása Más rendszerű TTS használata Nem használ grafikus elemeket §
l
l
6 interfész + kb. 60 implementációs osztály
Tetszőleges platformon végrehajtható l
l
Kevés memóriát használ, gyors
Majdnem…
Terv: l
Nyílt forráskód, ingyenes
2004. május 4.
Networkshop 2004, Győr
13
Hálózati alkalmazások l
E-mail l l
l
Web böngésző l l l
l
Levél küldés és olvasás IMAP szerveren keresztül JavaMail API Primitív HTML parser, vakbarát oldalak olvasására Pl. www.origo.hu/hirmondo Java hálózati osztályok
Célzott hálózati szolgáltatások elérése l
Jini technológia segítségével
2004. május 4.
Networkshop 2004, Győr
14
Szolgáltatás háló Könyvtár szolgáltatás
Szolgáltatás felfedezés Proxy letöltés F
1
4
¡
2
5
__
3
6
Begépelt szöveg
2004. május 4.
Menü rendszer
beszúr
Interfész példány
Szöveg és/vagy audió stream
Adattároló szolgáltatás
Menü
Networkshop 2004, Győr
Zene szolgáltatás
Csoportmunka szolgáltatás
Hír szolgáltatás
Bank szolgáltatás
Oktatási szolgáltatás
Üzenet szolgáltatás 15
Összefoglalás l l
Prototípus kliens elkészült Példa alkalmazások l l l l l
l l l
Szövegszerkesztő Hangoskönyv Címjegyzék Email, böngésző Hangos könyvtár
Tesztelés folyamatban Nem csak kéziszámítógépen További fejlesztés szükséges
2004. május 4.
Networkshop 2004, Győr
16