Personal Assistant to Enhance the Social Life of the Seniors Szociális életet támogató személyes eszköz időseknek (AAL-08-1-2011-0001)
A projektről Európai Uniós, AAL projekt Projekt kezdete: 2012. február 8 partner (portugál, francia, lengyel, magyar) Projekt vezetője: a Microsoft portugál képviselete
Magyar partnerek BME Távközlési és Médiainformatikai Tanszék konzorciumvezető Bay Zoltán Alkalmazott Kutatási Közhasznú Nonprofit Kft.
A projekt célja Az idősek mindennapi életének támogatása, elszigeteltségük és kirekesztettségük csökkentése a személyi asszisztenssel
lehetőséget teremtsen az idősek számára egy hatékonyabb, függetlenebb, társadalmilag aktívabb és kiteljesedettebb életre
Mi is az a Személyi asszisztens? Tableten, okostelefonon elérhető rendszer Hanggal, érintéssel vezérelhető - az idősek számára könnyebb kezelhetőséget biztosít
Felhasználói igények felmérése és rendszer specifikáció
Igényfelmérés
4 országban lezajlott kvantitatív és kvalitatív igényfelmérés az idősek körében a leendő
termékkel kapcsolatban Irodalomkutatás az idősek és az ICT kapcsolatáról
Kvantitatív kérdőíves felmérés 4 rész - 32 kérdés, 20-45 perc Főbb kérdések: Háztartás, egészségügyi állapot Milyen közösségekbe jár, mennyire aktív Internettel kapcsolatos felhasználói szokások Eszközzel kapcsolatos igények
Válaszadók
Internethasználat
Magyar válaszadók összesen 79 válaszadó: 53 nő, 26 férfi 17
8 50-59 60-69
26
70-79 80-
28
65% nyugdíjas Közel 70% felsőfokú végzettséggel rendelkező 40 nagy városban, 11-en közepes méretű, 26-an kisvárosban lakik Ugyanannyian (35%) lakik házastársával vagy egyedül, 8% idősek otthonában él Általában jó egészségügyi állapot (látási, hallási problémák), de 72% szed gyógyszert Havi jövedelem: 30% 250-500 €, 19% 500-800 €
Szabadidő eltöltése 72% hobbijának él 30% közösségi helyek 71% minden nap vagy csak hétvégén használ kommunikációs eszközöket (91%-uk rendelkezik mobiltelefonnal)
Számítógép-tudás 68% alacsony, nagyon alacsony vagy semmilyen tudással nem rendelkezik 85% személyi számítógépet használ 58% (!) naponta, 34% hetente használ internetet Interneten: információszerzés, kommunikáció
Preferált funkciók Kapcsolattartás (beszélgetés,email, chat) Frissülő hírportál Személyre szabott naptár Segítségnyújtás Időjárás jelentés
Kvalitatív felmérés workshop keretén belül Helyszín: BME Időpont: 2012.07.02. 14 résztvevő Cél: eszközök, alkalmazások, modalitások tesztelése + igényfelmérés Eszközök: okostelefon, táblagép, fejhallgató, TV, Kinect, Xbox
Preferált modalitások A hagyományos modalitások (billentyűzet, egér) tablet, okos TV környezetben nehézkesek Szövegfelolvasás Pl.: üzenetek, hírek, időjárás jelentés felolvasása
Hangvezérlés
Pl.: programok vezérlése, TV távirányítása
Gesztus
Pl.: Kinect érzékelővel vezérelhető alkalmazások, jelenlét érzékelés
Érintés
Pl.: Érintőképernyőn gépelés, programok kezelése
Modalitások összehasonlítása
Irodalomkutatás A 4 országban lévő idősek számáról, helyzetéről, az ország ICT eszközökkel való támogatásáról, ICT szolgáltatásokról és projektekről szól
Magyarországon Fórumok: eVita, Inforum Oktatás: Óbudai Egyetem, Mindentudás Egyeteme, Kattints Nagyi!, nagyisuli.hu Közösségi, tanácsadó oldalak, szórakozás: 50plusz.net, 50-en túl, nyugdijas.jatekonline.hu, honfoglalo.hu Segítségnyújtás: házipatika, webbeteg, …
Alkalmazás tervezés Az igényfelmérés után következő módszertani lépés a perszónák és szcenáriók meghatározása Perszóna = fiktív személy, végfelhasználó Szcenárió = elemi vagy összetett cselekvések leírása, melyek során a persona a személyi asszisztenst használja Az igényelt szolgáltatásokat ezek alapján határoztuk meg
Perszóna részlet Kovács Mária,
68 éves, Győrben él, 40 éve házas Gyermekei távol élnek, 600 EUR a család bevétele, Számítógépet rendszeresen használ, Szeret főzni, kirándulni Időnként meglátogatja a gyermekeit, unokáit …
Szcenárió részlet Kapcsolattartás ismerősökkel, rokonokkal Eddig tipikusan telefonon keresztül tartotta a kapcsolatot A család/ismerősök javasolták a facebook, skype, email használatát Ezek az alkalmazások azonban ismeretlenek, túlságosan különböznek egymástól, nehézkesek számára Szükség van egy egységes, egyszerű (idősbarát) felhasználói felületre ezekhez
Leendő szolgáltatások Közösségi aktivitás, állapot Közösségi érdeklődési körök Naptár speciális funkciókkal
Hang által vezérelt levelezés
PLA Prototípus
Biztonságos tartalom megosztás Időjárás jelentés
Időseknek fontos információ
TV program
Megvalósítás…
A megvalósítás lépései Felhasználói interfész technológiák fejlesztése idősek számára Keretrendszer kialakítása Egyedi szolgáltatások fejlesztése Iteratív tesztelés
Motiváció a beszédtechnológia területén A ma elérhető technológiák nem az idősek számára készültek A beszédkeltés során nem vették figyelembe az idősek igényeit, preferenciáit A beszédfelismerő rendszerek tipikusan fiatalok hangjával vannak tanítva így az idős korban fellépő változásokat nem képes kezelni
Beszédkeltés A két legkorszerűbb gép beszédkeltési technológia Korpusz-alapú (pl. időjárás) Statisztikus parametrikus (HMM, általános szövegekre)
Adott személy hangjára adaptálás
Beszédkeltési hangminták
Eredeti 1. beszélő 2. beszélő 3. beszélő
Adaptált TTS
Beszédfelismerés A beszédfelismerő betanításához nagy mennyiségű hangmintát gyűjtünk (130 óra, 1500 idős beszélő, 3 nyelv) A hangminták gyűjtése Interneten elérhető adatgyűjtő felületen történik elosztott módon.
Adatgyűjtési minták
Különböző beszélők, különböző jellegzetességek:
További modalitások Kinect Érintőképernyő Tablet + okos TV integráció
Ezek megvalósítása folyamatban van, a portugál partnerek feladata
Szolgáltatások Az igényfelmérés során a fő irányok meghatározásra kerültek A részleteket további végfelhasználói tesztek és igényfelmérések során pontosítjuk A cél tipikusan Internet alapú, létező szolgáltatások egységes elérése közös felhasználói felületen
A rendszer felépítése Home Portable Unit
Portable Unit (Premium Tablet)
Portable Unit (Low Cost Tablet)
Internet Main Unit authentification services Screen kinect PLA Database
Automatic Speech Recognition Office 365
Home computer
Voice Search Text to Speech
Alkalmazás terv (1)
Alkalmazás terv (2)
Időjárás felolvasó videó az időjárás felolvasóról (http://youtu.be/7jWhm10V708 )
Alkalmazás terv (3)
videó a kinect prototípusról
Köszönjük a figyelmüket!