Personal Assistant to Enhance the Social Life of the Seniors. Szociális életet támogató személyes eszköz időseknek (AAL )

Personal Assistant to Enhance the Social Life of the Seniors Szociális életet támogató személyes eszköz időseknek (AAL-08-1-2011-0001)

A projektről  Európai Uniós, AAL projekt  Projekt kezdete: 2012. február  8 partner (portugál, francia, lengyel, magyar)  Projekt vezetője: a Microsoft portugál képviselete

Magyar partnerek  BME Távközlési és Médiainformatikai Tanszék konzorciumvezető  Bay Zoltán Alkalmazott Kutatási Közhasznú Nonprofit Kft.

A projekt célja  Az idősek  mindennapi életének támogatása,  elszigeteltségük és kirekesztettségük csökkentése a személyi asszisztenssel

lehetőséget teremtsen az idősek számára egy hatékonyabb, függetlenebb, társadalmilag aktívabb és kiteljesedettebb életre

Mi is az a Személyi asszisztens?  Tableten, okostelefonon elérhető rendszer  Hanggal, érintéssel vezérelhető - az idősek számára könnyebb kezelhetőséget biztosít

Felhasználói igények felmérése és rendszer specifikáció

Igényfelmérés

 4 országban lezajlott kvantitatív és kvalitatív igényfelmérés az idősek körében a leendő

termékkel kapcsolatban  Irodalomkutatás az idősek és az ICT kapcsolatáról

Kvantitatív kérdőíves felmérés  4 rész - 32 kérdés, 20-45 perc  Főbb kérdések:  Háztartás, egészségügyi állapot  Milyen közösségekbe jár, mennyire aktív  Internettel kapcsolatos felhasználói szokások  Eszközzel kapcsolatos igények

Válaszadók

Internethasználat

Magyar válaszadók  összesen 79 válaszadó: 53 nő, 26 férfi 17

8 50-59 60-69

26

70-79 80-

28

 65% nyugdíjas  Közel 70% felsőfokú végzettséggel rendelkező  40 nagy városban, 11-en közepes méretű, 26-an kisvárosban lakik  Ugyanannyian (35%) lakik házastársával vagy egyedül, 8% idősek otthonában él  Általában jó egészségügyi állapot (látási, hallási problémák), de 72% szed gyógyszert  Havi jövedelem: 30% 250-500 €, 19% 500-800 €

Szabadidő eltöltése  72% hobbijának él  30% közösségi helyek  71% minden nap vagy csak hétvégén használ kommunikációs eszközöket (91%-uk rendelkezik mobiltelefonnal)

Számítógép-tudás  68% alacsony, nagyon alacsony vagy semmilyen tudással nem rendelkezik  85% személyi számítógépet használ  58% (!) naponta, 34% hetente használ internetet  Interneten: információszerzés, kommunikáció

Preferált funkciók  Kapcsolattartás (beszélgetés,email, chat)  Frissülő hírportál  Személyre szabott naptár  Segítségnyújtás  Időjárás jelentés

Kvalitatív felmérés workshop keretén belül  Helyszín: BME  Időpont: 2012.07.02.  14 résztvevő  Cél: eszközök, alkalmazások, modalitások tesztelése + igényfelmérés  Eszközök: okostelefon, táblagép, fejhallgató, TV, Kinect, Xbox

Preferált modalitások  A hagyományos modalitások (billentyűzet, egér) tablet, okos TV környezetben nehézkesek  Szövegfelolvasás  Pl.: üzenetek, hírek, időjárás jelentés felolvasása

 Hangvezérlés

 Pl.: programok vezérlése, TV távirányítása

 Gesztus

 Pl.: Kinect érzékelővel vezérelhető alkalmazások, jelenlét érzékelés

 Érintés

 Pl.: Érintőképernyőn gépelés, programok kezelése

Modalitások összehasonlítása

Irodalomkutatás  A 4 országban lévő idősek számáról, helyzetéről, az ország ICT eszközökkel való támogatásáról, ICT szolgáltatásokról és projektekről szól

Magyarországon  Fórumok: eVita, Inforum  Oktatás: Óbudai Egyetem, Mindentudás Egyeteme, Kattints Nagyi!, nagyisuli.hu  Közösségi, tanácsadó oldalak, szórakozás: 50plusz.net, 50-en túl, nyugdijas.jatekonline.hu, honfoglalo.hu  Segítségnyújtás: házipatika, webbeteg, …

Alkalmazás tervezés  Az igényfelmérés után következő módszertani lépés a perszónák és szcenáriók meghatározása  Perszóna = fiktív személy, végfelhasználó  Szcenárió = elemi vagy összetett cselekvések leírása, melyek során a persona a személyi asszisztenst használja  Az igényelt szolgáltatásokat ezek alapján határoztuk meg

Perszóna részlet  Kovács Mária,       

68 éves, Győrben él, 40 éve házas Gyermekei távol élnek, 600 EUR a család bevétele, Számítógépet rendszeresen használ, Szeret főzni, kirándulni Időnként meglátogatja a gyermekeit, unokáit …

Szcenárió részlet  Kapcsolattartás ismerősökkel, rokonokkal  Eddig tipikusan telefonon keresztül tartotta a kapcsolatot  A család/ismerősök javasolták a facebook, skype, email használatát  Ezek az alkalmazások azonban ismeretlenek, túlságosan különböznek egymástól, nehézkesek számára  Szükség van egy egységes, egyszerű (idősbarát) felhasználói felületre ezekhez

Leendő szolgáltatások Közösségi aktivitás, állapot Közösségi érdeklődési körök Naptár speciális funkciókkal

Hang által vezérelt levelezés

PLA Prototípus

Biztonságos tartalom megosztás Időjárás jelentés

Időseknek fontos információ

TV program

Megvalósítás…

A megvalósítás lépései  Felhasználói interfész technológiák fejlesztése idősek számára  Keretrendszer kialakítása  Egyedi szolgáltatások fejlesztése  Iteratív tesztelés

Motiváció a beszédtechnológia területén  A ma elérhető technológiák nem az idősek számára készültek  A beszédkeltés során nem vették figyelembe az idősek igényeit, preferenciáit  A beszédfelismerő rendszerek tipikusan fiatalok hangjával vannak tanítva így az idős korban fellépő változásokat nem képes kezelni

Beszédkeltés  A két legkorszerűbb gép beszédkeltési technológia  Korpusz-alapú (pl. időjárás)  Statisztikus parametrikus (HMM, általános szövegekre)

 Adott személy hangjára adaptálás

Beszédkeltési hangminták

Eredeti 1. beszélő 2. beszélő 3. beszélő

Adaptált TTS

Beszédfelismerés  A beszédfelismerő betanításához nagy mennyiségű hangmintát gyűjtünk (130 óra, 1500 idős beszélő, 3 nyelv)  A hangminták gyűjtése Interneten elérhető adatgyűjtő felületen történik elosztott módon.

Adatgyűjtési minták

 Különböző beszélők, különböző jellegzetességek:

További modalitások  Kinect  Érintőképernyő  Tablet + okos TV integráció

 Ezek megvalósítása folyamatban van, a portugál partnerek feladata

Szolgáltatások  Az igényfelmérés során a fő irányok meghatározásra kerültek  A részleteket további végfelhasználói tesztek és igényfelmérések során pontosítjuk  A cél tipikusan Internet alapú, létező szolgáltatások egységes elérése közös felhasználói felületen

A rendszer felépítése Home Portable Unit

Portable Unit (Premium Tablet)

Portable Unit (Low Cost Tablet)

Internet Main Unit authentification services Screen kinect PLA Database

Automatic Speech Recognition Office 365

Home computer

Voice Search Text to Speech

Alkalmazás terv (1)

Alkalmazás terv (2)

Időjárás felolvasó  videó az időjárás felolvasóról  (http://youtu.be/7jWhm10V708 )

Alkalmazás terv (3)

 videó a kinect prototípusról

Köszönjük a figyelmüket!