Mobil Gesztusok Tartalom 01 Mobil Gesztusok 02 felhasznált technológiák 03 Sétálóradar 04 Gesztuskocka 05 Telefonrázó
2 3 4 5 7
Készítették a www.mokk.bme.hu részére Somlai-Fischer Szabolcs, Kangyal András vendégkutatók és Pethő László, Domonkos László hallgatók. Jelen anyag elkészítését a BME Mobil Innovációs Központ támogatta
01 Mobil Gesztusok Gesztushoz kapcsolt és kontextuális Mobil Interfészek, egy interakciós nyelv lehetőségeinek kutatása Ebben a munkafázisban különböző gesztusokat és mobilhasználati kontextusokat mértünk és kötöttünk hozzájuk meglévő telefonfunkciókat, melynek eredményeként három prototípust készítettünk el, melyek működő de nem miniatürizált rendszerek, ahol a felhasználói élményt tudtuk teljes valósságában tesztelni. A három interakciós prototípus, a Sétálóradar, a Gesztuskocka és a telefonrázó dokumentációját tartalmazza ez a dokumentum, valamint előtte egy leírást a metodológiáról és a felhasznált technológiákról. Normákba ágyazva A piacon is életképes innovációk, újításoknak egy nemzetközi gyakorlatban hasznát iránya, hogy meglévő interakciós, akár nem digitális eszközhasználati normákba horgonyozzák az új technológiákat, funkciókat, így első naptól kezdve idegenül ismerősek lesznek, ami inkább kíváncsiságot vet fel, mintsem értetlenséget. Ennek szellemében elemeztünk pár a természetes, kéznél lévő gesztust és városi viselkedési normákat, hogy e meglévő normákba tudjuk ágyazni az új élményeket, melyeket működő állapotban teszteltünk, és ezt dokumentáltuk. Ehhez megépítettünk pár technológiai építőkockát, melyek szerepe elsősorban az egyszerű felhasználhatóság volt, mintsem a stabilitás vagy a technológiai kifinomultság. Ezen építőelemekből raktunk össze különböző interakciós prototípusokat, interfész nyelveket, és teszteltük őket használat közben, és a sikeresebben közül hármat e dokumentumban bemutatunk.
02 Felhasznált technológiák
1. ábra: a prototípusok főbb technológiai alkotóelemei Bs2Sx Basic Stamp A Parallax Inc. terméke, soros porton könnyedén programozható, 16 címezhető lábbal rendelkezik. Saját, Basic-jellegű programnyelvet fogad, max. 2 kbyte méretben. A kapcsolódó software segítségével, USB-átalakítóval percek alatt tetszőleges környezetben írható hozzá program. A relék irányítását, valamint a szenzorok által adott jel feldolgozását ez a chip oldotta meg. Prototipizálásnál sem a chip méretét, sem az összekapcsolássorán felhasznált kábelek és egyéb áramköri elemek szükségességét nem vettünk figyelembe, mivel a felhasználói élmény megismerésére, az alkalmazásból eredő további lehetőségekre, újdonságokra voltunk inkább kíváncsiak. Fontosnak tartjuk hangsúlyozni, hogy a felhasznált eszközök mindegyike erősen miniatürizálható, azok különleges feldolgozást vagy illesztést nem igényelnek. A chip a mai modern eszközökben rendelkezésre álló processzorokkal gond nélkül kiváltható, az egyedi szenzorok által kiadott jelek feldolgozásával együttesen. Sun Mobile Java SDK és Mobile Processing A Sun által készített mobil Java fejlesztőkörnyezet a hordoszható eszközökben használt, csökkentett funkcionalitású J2ME platformhoz biztosít fejlesztési lehetőséget. A használathoz MIDP és CLDC megfeleltetéseknek kell teljesülniük, melyeket a mai mobilkészülékek szinte kivétel nélkül teljesítenek. A Mobile Processing egy olyan fejelsztőkörnyezetet biztosít, mely segítségével a megszokottnál könnyebben, egyszerűsített felületen tudjuk használni a telefonban rendelkezésre álló további, klasszikus környezetben nem megszokott erőforrásokat (pl. Bluetooth, kamera, memóriakártya, hangszóró, stb). Mintaprogramok, valamint bőséges függvénytár érhető el a fejlesztői oldalon. Mobil Billentyűzet Interfész Mivel az elkészített eszközök a technológiában való lehetőségek megismerésére irányulnak, és nem a konkrét implementálásra, ezért nagyobb súlyt fordítottunk az adott ötlet működésének vizsgálatára, mint annak pontos megvalósítására. A kiválaszott telefonnal a kapcsolattartást úgy sikerült a legegyszerűbben megoldani, hogy a billentyűzet gombjait reléken keresztül a Basic Stamphez kapcsoltuk, így tudtuk az egyes gombokat ki-be kapcsolni, vagyis virtuálisan nyomogatni. Ez lehetőséget teremtett a telefonnal való direkt kapcsolattartásra, irányításra, továbbá másodlagos felhasználói felületek és alkalmazások kialakítására és összekapcsolására. Az újabb szenzorok és az azokra épülő eszközök által generált jelet így közvetelnül tudtuk továbbítani.
Ultrahangos távolságmérő szenzor Az eszköz egy adó- és egy vevőegységből áll, a mérendő mennyiséget a jel leadása és megérkezése között eltelt idő képezi. Az adó egy hangszóró, mely konstans hosszúságú 40 kHz-es jelet bocsát ki azonos időközönként. A vevő felépítése az adóéval megegyezik, így a visszatérő jel azt megrezegteti, mivel a beérkező hanghullám pontosan a vevő sajátfrekvenciájával rezeg. Az így kapott jel által hordozott időkülönbség kerül feldolgozásra, melyet az eszköz nyersen továbbít. Az adó és a vevő mérete egyenként 1 cm3 körüli, viszont a pontosság igényének mérséklésével a szükséges térfogat jelentősen csökkenthető. Szög- és gyorsulásmérő A lábak közötti kis tok tartalmazza az érzékelőket, melyek a négy sarokban vannak elhelyezve. A tokba nagynyomású folyadék, valamint egy kisméretű légbuborék van zárva. Alul, középen található egy fűtőtest, mely egyenletesen melegen tartja a gázt; viszont a folyadék a fallal való folyamatos érintkezés miatt nem tud annyira felmelegedni. Ha az eszköz a vízszintes helyzetből kimozdul, akkor a gázbuborék a legmagasabban levő érzékelő felé kezd el áramlani, majd a hordozott hő hatására a szenzor is felmelegedik. Ez ellenállás-változást okoz, amiből már könnyedén lehet mérhető jelet generálni a kimeneten. Abban az esetben, ha több érzékelő is felforrósodik (vagy mozgatási iránytól függően lehűl), akkor a mérőeszköz a szokásosnál jóval nagyobb jelet ad. Ez akkor történhet, ha azt igen nagy gyorsulásnak (pl. szabadesés) tesszük ki, ekkor ugyanis a buborék szétszóródik ideiglenesen a folyadékban, anélkül, hogy jelet generálna. Ez a működési elv kerül felhasználásra rendszerint merevlemezekben, és más gyorsulásra érzékeny eszközökben.
Tesztelt Alkalmazások, Interakciós Prototípusok 03 Sétaradar A Sétaradar lehetőséget biztosít arra, hogy olyan alkalmazásoknál, melyek mozgás közben lekötik a figyelmünket, a telefon riasztást adjon potenciális balesetek, ütközések előtt, lehetőséget teremtve mindkét félnek elkerülni azt. Az eszköz használható sms-írás, videotelefonálás, vagy olyan egyéb tevékenységek közben, ahol a telefon aktív felhasználói jelenlétet érzékel, mozgás közben. Az érzékelés a mi esetünkben ultrahang-szenzorral történik, de a beépített kamera is hasonló hatékonysággal alkalmazható. Ezeket a kiegészítőket a telefon adaptívan be- és kikapcsolhatja. Veszélyhelyzetet képező, biztosan prediktálható esemény előtt a telefon folyamatosan erősödő hangjelzést ad, esetleg a kijelzőn üzenetet jelenít meg, ezzel hívja fel a felhasználó figyelmét.
2. ábra: 1 nincs hangjelzés, 2 erősödő hang, 3 éles riasztás
Technológia Az eszköz működése egyszerű: az ultrahang-szenzor monitorozza a közelben levő dolgok távolságát, majd ha folyamatos közeledést észlel (pl. fa, másik ember) akkor egyre erősödő hangjelzést hallat.
3. ábra: Technológiai felépítés: Ultrahang szenzor, mikrovezérlő, hangszóró, elem. Használati élmények Működés közben tesztelve jól látható, hogy a telefon valóban jelzi a közeledő, először szándékos eseményeket. Már néhány perc használat után, a működés megismerésével is hajlamossá válik a felhasználó magát a készülékre jobban rábízni, jelen esetben ugyanakkora kifelé irányított figyelem mellett gyorsabban menni. Az ultrahang pozitív tulajdonsága továbbá, hogy nem csak egyenesen, hanem oldalirányban szóródva is érzékel, így a környező lehetőségekre is felhívja a figyelmet, továbbá ferdén tartott készülék mellett is megtartja működőképességét. Referencia alkalmazás Mivel a Sétaradar technológiailag teljesen megegyezik az ismert és elterjedt tolatóradarok technológiájával, nagyon gyorsan megértő és használó felhasználókat eredményez.
4. ábra: A tolatóradar és a Sétálóradar
04 Gesztuskocka A gesztuskocka segítségével a telefon egyes funkcióit tudjuk vezérelni, valamint szöveget bevinni. Az eszköz mozgatására épülő alapvető feladatokat tudunk használatával megkülönböztetni és gyorsan megtanulni; használatával a kézfej és alkar gesztusaihoz tudunk közvetlen utasításokat hozzárendelni. A mozgatás állhat döntésből, gyorsításból és forgatásból. Jelen állapotában négy irányt tudunk megkülönböztetni, ezeket most az előre, hátra, balra és jobbra való döntés jelképezi. Lehetőséget teremt továbbá a gyorsulás méréséből, valamint más szenzorokkal további tengelyek körüli forgatásból és lineáris elmozdításból származó gesztusok felhasználása.
5. ábra: A Gesztuskocka négy határozottan elkülönülő mozgatási iránya
6. ábra: Szövegbevitel a Gesztuskocka segítségével Technológia A gesztuskocka a Basic Stamphez kapcsolt relék segítségével „nyomogatja” a telefon gombjait, de mélyebb, rendszerszintű integrálás esetén kapcsolhatunk hozzá számos további funkciót is (pl. menüben való navigálás, előre rögzített számok felhívása, zenelejátszóban számok váltása, stb). A számgombok direkt lenyomásával tudjuk a szövegbevitelt irányítani, valamint a hívásokhoz a válaszeseményeket hozzárendelni.
7. ábra: Technológia, Szög- és gyorsulásmérő, 4 led, hangszóró Használati élmények A teszt során minden kísérletező alany azonnal tapasztalhatta az új interfész rendkívül könnyen adaptálható jellegét. Néhány perc gyakorlás után jellegzetes érzés támad a felhasználóban, mintha régóta ismerné ezt a felületet. Ehhez csupán a kezdeti visszacsatolás szükséges: a felhasználó az első mozdulatok során a kijelzőt erősen figyeli, majd a generált eseményhez tartozó választ azonnal rögzíti. Jellemző volt minden kísérletezőre az ismerkedés sorrendjének azonossága; először minden lehetséges gesztust végépróbálnak egy-két alkalommal, majd ezt a láncot többször ismétlik. Néhány perc eltelte után az ember magabiztosan használja a kockát, jelen esetben komplex szavak összerakásával próbálkozik. Érthető, hogy miért tűnik ennyire triviálisnak a felhasználás; sokkal ösztönösebben „hadonászik” az ember a kezével, mint megkülönböztet két menügombot, még ha ezeket tudatosan is teszi. A gesztuskockával való kísérletezés után, a saját telefont kézbevéve, általános hiányérzet támad a hasonlóan alapvető mozdulatok felhasználhatóságának
kiaknázatlanságát illetően. Referencia normák A Gesztuskocka nem egy meglévő alkalmazáshoz, hanem meglévő normákhoz kapcsolódik. Az utcai zsonglőr fiatal virtuozitása, pl zsákfoci, sok gyakorlásra épülő látványelem, mely a közösségnek szól. A Mobilkészülékek is hasonló szerepük van az identitás meghatározásában, így nem lenne nehéz összekapcsolni a kettőt. A Gesztuskocka hangjelzései miatt gyorsan tanulható, de hamar látványos virtuóz elemként egészíti ki az utcai mobilozást.
8. ábra: Utcai zsonglőr virtuozitása jó referencia a gesztuskocka látványos használatára
05 Telefonrázó A Telefonrázó prototípusban a legelterjedtebb kommunikációs gesztusokat, a kézmozdulatokkal kifejezett döntéseket integráltuk a mobil készülékek világába. Ennek tárháza igen gazdag, és sok lehetőséget rejt, mi most a két legalapvetőbb mobil funkciót kapcsoltuk gesztusokhoz: A hívás fogadását, és a hívás elutasítását. A fogadáshoz elég fülünkhöz emelnünk a telefon egy határozott mozdulattal, míg az elutasításhoz csak tagadólag meg kell rázzuk a telefont oldalirányba.
9. ábra: A hívás fogadásához elég csak egy határozott mozdulattal fülünkhöz emelnünk a telefont.
10. ábra: Ha a telefont elutasítólag megrázzuk, a szenzor X tengelye jelez, és elutasítja a hívást. Technológia A gyorsulásmérő párhuzamosan tud egyszerre 2 tengelyen jelezni, így a telefon hátuljára rögzítve mértük az elmozdulás irányát, majd a Basic Stamp – Billentyűzet interfészünkkel fogadtuk vagy elutasítottuk a hívást. Fontos megjegyezni, hogy az általunk tesztelt hardverrel is ez párhuzamosan használható dőlésmérésre épülő alkalmazásokkal, mivel a szenzor fizikai felépítése folytán más elektromos tulajdonságot mérhetünk hirtelen gyorsuláskor és mást forgatáskor. Maga a működést biztosító szenzor kis méretű, és könnyen integrálható lenne mobil készülékekbe. Piaci felhasználása jelenleg elsősorban a laptopok merevlemezeinek védelmében merül ki (lásd: Lenovo, Apple) Használati élmények Ezek a telefon-mozgatás gesztusok annyira elemiek, hogy rögtön természetesnek érezzük használatukat, majd a tesztek után hamar a hiányát is érezzük, hogy miért nincs ez integrálva. A tesztek során intuitívan a használók rögtön elkezdtek más gesztusokkal kísérletezni, ami felveti azt a megoldást, hogy a gyorsulási mért adatokat érdemes lenne a felhasználónál direktbe megmérni, és hozzá szabadon telefonos funkciókat csatolni, nagyon hasonlóan a hangparancsok felhasználói rendszeréhez. (mintavétel – funkciócsatolás - használat) Referencia normák Egy telefonívás fogadását vagy elutasítását kapcsoltuk meglévő normákhoz ebben a prototípusban, de a kézjelek, és természetes gesztusok tárháza kimeríthetetlen. Külön érdekes lehetőségeket rejt még, hogy ezek messziről, mások által is olvasható jelek, melyek hidat verhetnek a privát mobil domain és a közösségi alkalmazások között.
11. ábra: messziről, mások által is olvasható jelek a privát és a közösségi alkalmazások között Adat funkciójú kiegészítés Az előző, telefonrázó prototípus más funkcióhoz való kötése kapcsán teszteltük az Adatdobó
alkalmazást. Sokszor akarunk egymásnak adni egy adat darabkát, ki kell választani, elküldeni, ls a másik oldalon fogadni. Az utóbbi kettőre nyújt alternatívát, ha az adatot 'átdobjuk'. A küldéshez úgy kell tenni, mint ha át akarnánk dobni valamit a telefonból, a fogadáshoz meg el kell kapni ezt a virtuális labdát.
12. ábra: Az adatot átdobni, majd elkapni, mint egy virtuális labdát Technológia A gyorsulásmérőnek itt mindét telefonon rajta kell lennie, az adat küldéséhez majd az adat fogadásához is gyorsulást kell mérnünk az adott telefonokon. Ez a prototípus meg finomításra szorul, mivel az adat és a cél kiválasztásának folyamatát is integrálni kell. Jelenlegi formájában azonban magát a használati élményt teszteltük.
13. ábra Adat push nagy gyorsulásra, Adat fogadás nagy gyorsulásra
