Beágyazott Intelligens Rendszerek – 2012 ősz 1. Terek és berendezések – Szenzor design
Alacsony szintű információ kontextus becsléséhez: begyűjtés, integrálás, feldolgozás, felhasználás szenzor információ ® rendszer állapot ® döntés ® beavatkozás Adatok
alacsony szintű ambiens jellemzők – elemi adaptáció ... integrált információ – funkcionális-, modellalapú adaptáció, empatikus számítások
Design dedikált (szenzornak fejlesztett) serendipitous (váratlanul talált, ad hoc) – elektronikus tömegárú, kábel TV, mobil, … - olcsó, hozzáférhető platform szenzorokat kihelyezni, olcsó kommunikáció (webcam – mozgásszenzor, mobil – diagnosztikai állomás pl. asztmához, ...) iHCI (önkénytelenül, implicite, kölcsönhatásokból, ...) Lokáció statikus lokáció – statikus (ambiens) jellemző statikus lokáció – dinamikus jellemző (rögzített lokációjú objektumok állapotváltozása – ablak, ajtó, ...) (emberek/objektumok követése – mozgás szenzorok – mikrofon, videokamera) dinamikus lokáció – dinamikus jellemző (emberek/objektumok követése – viselhető (ID) szenzorok, RFID, iButton, ...) (mozgó emberek/objektumok állapotváltozása – gyógyszeres doboz, ...) Passzív/aktív tip. minden passzív (pull, push) aktív - panic button (állapotváltozás érzete, push) Emergency Medical Alert (EMA) button, viselhető, wireless kapcsolat központtal, … “szcenárió” nyomógomb (parancsszerv, de mellékesen (iHCI) állapot/emóció/szándék szenzor)
2. Funkciók intelligens terekben érzékelt mennyiség stressz, nyomás pozíció, irány, távolság, mozgás fény, sugárzás, hőmérséklet szilárd-, cseppfolyós, gáznemű anyagok
funkció, használat padló, ajtó, ágy, lépcső biztonság, lokalizálás, követés, esésdetektálás biztonság, lokalizálás, követés, eü-biztonság, energiahatékonyság biztonság és eü, monitorozás, 1
iButton hang kép bio
uszoda-karbantartás, öntöző hatékonyság emberek, objektumok azonosítása biztonság, hangvolumen, beszédfelismerés biztonság, azonosítás, kontextus-felismerés emberek azonosítása
Bio (autentikáció, azonosítás) biometrikus szenzorok (egyedre jellemző egyedi mérhető, nem változó biológiai jelleg) fiziológiai biometrika – véges eltérések, 5 érzékszervvel azonosítható jellegek (látás: kinézet, haj, szem színe, fogok, arcvonások, ..., hang: hangmagasság, szag, íz: nyál összetétele, DNA, tapintás: ujjlenyomat, kézlenyomat) viselkedés alapú biometrika – írás stílusa, járás ritmusa, gépelés sebessége, ... ujjlenyomat-olvasók írisz-szkennerek kéz/ujj-olvasók (kéz struktúrája, felépítése, arányok, bőre, ...) arcfelismerés hang/beszédfelismerés kézjegy (aláírás), billentyűzet-dinamika érrendszer felismerése (ujj) (extremálisan alacsony FN, False Rejection 0.01%, FP, False Acceptance 0.0001%, Csendes Óceán, Ázsia), Joseph Rice, 1983, Eastman Kodak http://www.biometriccoe.gov/ (FBI Biometric Center of Excellence)
DNA fül-, testszag felismerése (gépi odometria, mesterséges orr, ...) biometrikai információval kódolt 2D barcode olvasók Emóció(szenzorok) emóciók felismerése (hanghordás, arckifejezés, mimika, ...) emóciók fiziológiai detektálása (fiziológiai állapotváltozás emóció forrása) harag, félelem, szomorúság – bőrhőmérséklet boldogság – utálat, meglepetés – harag, félelem – szomorúság - szívritmus emocionális dinamika fiziológiai detektálása (BVP Blood Volume Pressure, SC Skin Conductance, RESP Respiration Rate, SPRT Sequential Probability Ratio Test, MYO, ...) Képfeldolgozás – térben lévő emberek identitása és lokációja - lokáció-alapú események triggerelése adott személynek szánt üzenet lejátszásához a legmegfelelőbb audio/video berendezés megválasztása adott helységben, adott felhasználóhoz tartozó preferenciamodell azonosítása és érvényesítése (megvilágítás, kihangosítás, ...) - adott személy viselkedésének megértése/azonosítása megfelelő kísérő cselekvések kiszámításához Követelmények: emberek lokáció/identitás karbantartása (felbontás? pl. 10cm, szín hisztogram követése, ...) megfelelő sebesség (>> 1 Hz) egyszerre több ember képével dolgozni 2
belépő/kilépő emberek gépi reprezentációjának karbantartása (törlés, generálás) több kamerakép feldolgozása (mennyezeti kamerák helyett vízszintesen látó kamerák) 24h munkaüzem tolerancia: részleges fedések és pózvariációk (Kálmán-szűrők, részecske szűrők, …)
3. Szenzorok AAL/ AAC jólét folyamatos monitorozásához (olcsó, megbízható, felhasználót nem zavaró, fúziót segítő, ...) Activity of Daily Living (ADL) - nehezen megjósolható viselkedésű emberek – szükséges jósolhatóság az általános jóléthez szükséges alaptevékenységekben rendszeres étkezés, alvás, fürdőszoba használat, mosakodás/ápolás, gyógyszerszedés, öltözködés, sétálás, telefonhasználat, olvasás, takarítás, ágyhasználat, bútor/lépcső használat, ...). - jósolhatóság korral együtt nő (ahol éppen kell – idős ember szociális környezetben – ott több esély van sikerre) Speciális AAL, ADL szenzorok: - egyszerűen és olcsón követhető ADL - problémás ADL (kritikus, de szenzor-technológia komplex, megbízhatóság alacsony) - gyógyszerszedés/kezelés, pénzhasználat, ... egyszerű nyomás szenzorok – ágyhasználat, székhasználat, jelenlét/szoba, lakásajtónyitás, ... vízvezetékekre rakott vibrációs v. akusztikus szenzorok – vízhasználat, ... video/IR kamerák, .... Vízfogyasztás monitorozása - több fontos ADL komponense - ipari/kommerciális megoldások drágák és bonyolultak (invazív, UH, tápellátás, ...) - mozgórész nélkül, a létező vezetékre, belsőleg táplált, egyszerű, olcsó, ... folyóvíz akusztikus szignatúrája (rövid távú) vízvezeték hőmérséklete (hosszú távú)
Sérülékeny emberek videó monitorozása otthoni környezetben - jelenlét érzékelés és lokalizálás: + a bútorzat és a falkonfiguráció 3D modellje - robusztus azonosítás: RFID technológia megbízhatóbb az arcfelismeréshez képest - esésdetektálás: páciens R-T követése, póz becslése (ül, áll, fekszik, ...). riasztás: fekszik, padló, ... mozdulatlan nem szokványos helyen (tempóralis + térbeli (logikai) következtetés) - aktivitás-monitorozás: egész napi követés, lokalizáció, statisztikák, „ágyban töltött idő”, “ülés fotelben”, „állás”, ... - magán szféra védelme, meddig terjed (és levehető) a „nyers” információ (itt kép) - több szenzor közeli processzálás, csak kontextus/szemantikai információ küldése távoli tárba, távoli feldolgozáshoz - 2D sziluettek kinyerése, szín detektálás, több kamerás követés fuzionálása Sérülékeny emberek audio monitorozása otthoni környezetben 3
Szociális ritmusok, éjjeli rutinviselkedések, nappali aktivitás, ... alapvető viselkedés: lefekvés ideje, felkelés ideje, ágyban eltöltött idő, éjjeli felkelések száma és hossza, nyugtalansági mérőszámok, ... Tactex BEDsensor™ matrac alatti nyomásmérő, 24h monitorozás alvásjellemzők - aktigráfia: ca. 1970, labor alvásmérések kiegészítése, testmozgás és alvási ciklus megfeleltetése (páciens jellemzése, kezelés megítélése, ...) alvás hatékonysága (fekvés %? alvás) elalvási látencia (lefekvés után mikor alszik el) teljes alvásidő elalvás utáni ébrenléti idő felébredések száma alvás alatt felkelések száma alvás alatt
4. Szenzorok hálózatok - több szenzor –
jobb! (megbízhatóbb kontextus, szenzor fúzió szükségessége) pontosabb és megbízhatóbb ADL riasztás
- több ADL - olyan kontextus, amelyben a vészhelyzetek nehezen ismerhetők fel (nem kellően szelektív a vészhelyzetekre nézve) Pl. olvasás, pihenés, ... könnyen takar komoly eü problémát (páciens megszokott időben, kedvenc széken, nem csinál semmit, ...) akkor, amikor olvasni szokott – a rosszullétét hogyan detektáljuk hatékonyan? eltérés a normálistól, ami hosszú ideig nehezen detektálható (ha hosszabb ideig ül, de akkor késve riasztunk) - megoldás: további szenzorok beiktatása (panic button, kis mozdulatok hiánya, ...), - fúzió más szenzorokkal (pl. egész szobára kiterjedő: ágy, szőnyeg, székláb, ... nyomásszenzorok fúziója, ...)
Fúzió előnyei - Megnőtt rendszer hatékonyság – Jobb detekció, követés, azonosíthatóság – Jobb helyzetfelismerés és helyzetérzékenység 4
- Megnőtt robusztusság - Szenzorredundancia - Fokozatos romlás - Kiterjesztett térbeli és tempóralis lefedés - Rövidebb válaszidő - Kisebb kommunikációs és számítási teher Problémák - Szenzorok és információforrások típusa, jellege - Lokalizálás - együtt, vagy földrajzilag elosztva - Szenzorok számítási kapacitása - Rendszer-architektúra - topológia, kommunikációs struktúra, számítási erőforrások, fúzió jellege - Rendszer szintű célok és optimalizálás Fúzió helye - szenzor közeli kevesebb berendezés, okosabb szenzorok, rejtett konnektivitás, nagyobb energiahasználat - központ (kontextus alkusz) közeli komplexitás csökkenés, költségcsökkenés, konnektivitás problémás lehet - hibrid sémák Fúzió szintje - Fúzió adatszinten rokon mennyiségeket mérő szenzorok, központosított feldolgozás - Fúzió jelleg szinten jelleg kiemelés, csökkentett kommunikációs sávszélesség kívánalom - Fúzió döntési szinten hatékonyság visszaesés Lehetséges ADL/AAL/AAC szenzor fúziók
Fúzió és a szenzorkiesés konzekvenciái - 24h működés - folyamatos fúzió és kontextus építés 5
- ADL folyamatos felismerése evidencia alapú, mindenkori evidencia súlya szenzor design, Fault Tolerant technikák szenzor redundancia, alternatíva ember, mint vésztartalék szenzor: ilyen szenzor „felfedezése”, „megcímzése”, „értékelése”, ... Szenzorhálózatok - lokális ad hoc - ... - lokális célorientáltan fejlesztett – Smart House (Siemens, Phillips, ...) - általános rendeltetésű (szenzor hálózatok, intelligens mótok, ...) - globális adhoc – Sensor Web Műszaki kihívások: - ad hoc telepítés: telepítés területén infrastruktúra általában nincs, pl. erdőben – repülőből - csomópont feladata a konnektivitás és az adatdisztribúció azonosítása - magára hagyott üzemelés: telepítés után emberi beavatkozás nincs, csomópont felelőssége átkonfigurálás változások esetén. - nem felügyelt: nincsenek rákötve energiaforrásokra, véges energiakészlet. optimális energia felhasználás: processzálás (kevesebb), kommunikáció (több), kommunikáció minimalizálása - dinamikus környezet: adaptáció változó konnektivitáshoz (pl. új csomópontok megjelenése, csomópontok kiesés), változó környezeti behatásokhoz. szenzor hálózat életében a legfontosabb energiafogyasztás elem, szegényes erőforrások (méret, költség, ...) energiatudatosság (energy awareness): design és üzemeltetés egy csomópont (saját feladat + router!) csoport teljes hálózat lokalizálás (szenzor térbeli koordinátainak a meghatározása) GPS külső térben, drága (kicsi olcsó szenzorok), akadályok (sűrű lombozat, ...) rekurzív trilateration/ multilateration módszerek egyes csomópontok (hierarchia felső szintje) ismert lokációjúak periodikus irányleadók, más csomópontok kiszámítják a pozíciójukat
6
