MTA SZTAKI Department of Distributed Systems
Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak
Mátételki Péter
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
„A vakság a dolgoktól választ el, a siketség az emberektől.” Helen Keller
2
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
A probléma
Siketek, hallás- és beszédkárosultak: n mindennapos kommunikációs problémák n nehéz társadalmi integráció n munkaerőpiaci nehézségek n elszigeteltség n “klikkesedés”
3
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Hallatlan jelnyelvi szótára
4
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Silent Speech Translation (interACT)
5
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Eyes-Free Keypad Input
6
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Keyboard Glove – University of Alabama
7
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Kihívás
Megoldást jelentene egy n intelligens segédeszköz n fogyatékkal élők és épek integrációja n áthidalja a kommunikációs szakadékot n mindennapi használatra n intuitív
8
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
n n n n
Megoldás
jelnyelvből beszéd folyamatos, valós idejű működés jelnyelvi szinkrontolmács innovatív hardver- és szoftverrendszer
Tolmácskesztyű szinkrontolmácsgép beszéd- és halláskárosultaknak 9
dsd. s
ztak i.hu
Pályázat
MTA SZTAKI Department of Distributed Systems
KMR-12 MTA SZTAKI Euronet Zrt. 2012.10.01. 24 hónap
10
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Tolmácskesztyű
jelnyelvi szinkrontolmácsgép
11
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
n n
jelnyelv – nem igényel betanulást egyik kézen viselhető kesztyű n n n n
n
Tolmácskesztyű
szenzorok vezérlés adatlfeldolgozás Bluetooth
mobil app n n n n
jelfeldolgozás nyers szöveg előállítása természetes nyelvi elemzés felolvasás 12
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
n n n n n n n n
Gesztusfelismerés
9DOF integrált chipek jelfúzió inerciahálózat virtuális kéz gesztusleírók 30 gesztus/sec soros USB soros Bluetooth
13
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Daktil – nemzetközi ujjábécé
14
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
n n n n n n n
Működés
jelnyelv betanítható saját gesztusok kézállapotok digitalizálása gesztusleírók létrehozása jelfeldolgozás (szegmentáció) szöveg készítése automatikus felolvasás
15
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
n
Nyelvi elemzés
hibák n n
rosszul mutatott jelek jól mutatott jelek átmeneti jelek n duplikált jelek n rosszul felismert jelek n
n
javítás n
betűhatárok felismerése – szegmentálás ablakozó algoritmus n kézdinamikai vizsgálat alapján n
n
kontextusérzékeny szövegjavítás módosított Levenshtein n n-gram n confusion matrix n
16
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Felhasználás
Fogyatékos Személyek Esélyegyenlőségéért Közalapítvány, ’Jelnyelvi tolmácsszolgáltatás igénybevételi adatainak elemzése a 2009. június 01. és 2010. május 31. közötti tárgyidőszakra vonatkozóan’
17
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Felhasználás
Fogyatékosok hétköznapi szituációkban: n munka n banki ügyintézés n vásárlás üzletben, piacon n közhivatali ügyintézés n egészségügyi ellátás n oktatás n szabadidő n … 18
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
n
egyik kézen viselhető kesztyű n n n
n
Architektúra
szenzorok alacsonyszintű jelfeldolgozás bluetooth
mobil App n n n
magasszintű jelfeldolgozás természetes nyelvi elemzés felolvasás
19
dsd. s
ztak i.hu
MTA SZTAKI Department of Distributed Systems
Köszönöm a figyelmet!
Mátételki Péter
[email protected] MTA SZTAKI DSD http://dsd.sztaki.hu/projects/TolmacsKesztyu/hu/
20
