Diplomaterv
Az agy-számítógép EEG/EMG/EOG jeleken alapuló vizsgálata, EOG jeleken alapuló BCI tervezése
Készítette: Szántó Tamás Konzulens: Dr. Ulbert István
Pázmány Péter Katolikus Egyetem Információs Technológiai Kar Műszaki Informatika szak
2011
Nyilatkozat az önálló munkáról
„Alulírott Szántó Tamás, a Pázmány Péter Katolikus Egyetem Információs Technológiai Karának hallgatója kijelentem, hogy ezt a diplomatervet meg nem engedett segítség nélkül, saját magam készítettem, és a diplomamunkában csak a megadott forrásokat használtam fel. Minden olyan részt, melyet szó szerint, vagy azonos értelemben, de átfogalmazva más forrásból átvettem, egyértelműen a forrás megadásával megjelöltem. Ezt a Diplomamunkát más szakon még nem nyújtottam be.”
...........................................
Tartalomjegyzék 1.
Bevezetés ............................................................................................................................1
2.
Brain-Computer Interface (BCI) ..................................................................................2 2.1. A BCI típusai ................................................................................................................2 2.2. A BCI részei ..................................................................................................................5
3.
EEG alapú BCI rendszerek ...........................................................................................7 3.1. EEG (Electroencephalography) ....................................................................................7 3.2. Példák EEG alapú BCI rendszerekre ............................................................................9 3.2.1. P300 ...................................................................................................................9 3.2.2. SMR ....................................................................................................................9 3.2.3. SCPs ..................................................................................................................10 3.3. Artefaktok .................................................................................................................10
4.
EMG alapú BCI rendszerek ........................................................................................ 11 4.1. EMG (Electromyography) ..........................................................................................11 4.2. Példa EMG alapú BCI rendszerre ...............................................................................14 4.2.1. Kurzor mozgatás EMG-vel ...............................................................................14
5.
EOG alapú BCI rendszerek ........................................................................................ 17 5.1. EOG (Electrooculography) .........................................................................................17 5.2. Szemmozgások ..........................................................................................................19 5.3. Példa EOG alapú BCI rendszerre ...............................................................................20 5.3.1. EOG-vezérelte grafikus interfész .....................................................................20
6.
Saját BCI tervezése .................................................................................................. 22 6.1. Tervezés célja ............................................................................................................22 6.2. Rendszer felhasználói követelményei .......................................................................22 6.3. Szoftver tervezésekor kitűzött feladatok ...................................................................23
6.4. Rendszer korlátai........................................................................................................23
7.
Tesztadatok felvétele .................................................................................... 24 7.1. Elektródák ..................................................................................................................25 7.1.1. EOG konfiguráció .............................................................................................25 7.2. Erősítők ......................................................................................................................26 7.3. Recorder PC/Laptop ...................................................................................................26 7.4. Analyzer PC.................................................................................................................26 7.5. Célképernyő ...............................................................................................................27 7.6. Mérés menete ............................................................................................................27
8.
Jelek feldolgozása .......................................................................................... 29 8.1. Vertikális és horizontális csatornák jelei ....................................................................29 8.1.1. Jeleket terhelő zajok ........................................................................................30 8.2. Tekintet és pislogás minták ........................................................................................31 8.3. Előfeldolgozás – zajszűrés ..........................................................................................33 8.4. Tekintet és pislogás detektálása ................................................................................34 8.5. Eredmények ...............................................................................................................34
9.
Az EOG_Text_Editor Program...................................................................................... 37 9.1. Fejlesztőkörnyezet .....................................................................................................37 9.2. Grafikus kezelőfelület és működése ......................................................................... 37 9.2.1. Keyboard Panel ................................................................................................39 9.2.1.1. Virtuális billentyűzetek.............................................................................39 9.2.1.2. Vezérlő gombok (Control Keys)................................................................40 9.2.1.3. Angol Billentyűzet ....................................................................................40 9.2.1.4. Magyar Billentyűzet .................................................................................41 9.2.1.5. Numerikus/Speciális (Num/Spec) billentyűzet ........................................41
9.2.2.
EOG Panel .......................................................................................................42
9.2.3. TextField Panel .................................................................................................42 9.2.4. Vezérlőjelek Panel............................................................................................42 9.2.5. Egyéb gombok..................................................................................................42 9.2.5.1. Load ..........................................................................................................42 9.2.5.2. Clear .........................................................................................................43 9.2.5.3. Exit ............................................................................................................43 9.3. Program futtatása ......................................................................................................43
10. Összefoglalás és koklúzió ................................................................................ 44 10.1. Összefoglalás ............................................................................................................. 44 10.2. Konklúzió ................................................................................................................... 45
Irodalomjegyzék .......................................................................................................... 46
Összegzés Az elmúlt években jelentős kutatások folytak olyan rendszerek kifejlesztésében, melyek képesek az emberi test különböző pontjain mérhető bioelektromos jeleket gépek vezérlésére felhasználni. A tudomány ezeket az eszközöket BCI (Brain-Computer Interface, agy-számítógép kapcsolat), illetve HMI (Human-Machine Interface, ember-gép kapcsolat) rendszereknek nevezi. Ezek a rendszerek biztosítják az alap kommunikációs és motoros irányító képességeket olyan emberek számára, akik súlyos mozgatórendszerbeli zavarban szenvednek, mint például az ALS (Amyotrophic lateral sclerosis), vagy akik lebénultak agyvérzés, vagy nyaki gerincvelő sérülése miatt. Ezek az eszközök kapcsolatot teremtenek az emberi agy és a külvilág között, feljavítva ezzel a betegek, és hozzátartozóik életminőségét. Léteznek olyan invazív és nem invazív készülékek, melyek többnyire vizuális ingerekkel, de vannak olyanok is,
melyek auditív és/vagy taktilis ingerekkel kommunikálnak a
felhasználóval. A biológiai rendszerek bonyolultsága miatta bioelektromos jelek feldolgozása és vezérlő jelekké alakítása nem egyszerű feladat. A szemek körül a bőrfelszínre helyezett elektródák által mérhető Elektro-okulogram (EOG) jelből, a tekintet irányának meghatározása érdekében, is ki kell szűrni a különböző forrásból származó zajokat. A diplomamunkám célja egy EOG jeleken alapuló (offline) agy-számítógép interfész tervezése és megvalósítása, mely kísérleti személyekről felvett EOG jeleket képes feldolgozni és osztályozni. Továbbá, az interfész a kinyert információk alapján képes a kezelőfelületen mozgatni egy egeret, lehetővé téve karakterek kiválasztását a kijelzőn. A dolgozat áttekinti az EEG/EMG/EOG jeleken alapuló BCI rendszerek alapjait, majd bemutatja egy EOG jeleken alapuló agy-számítógép interfész tervét és az elkészített (offline) szoftver implementációját, mely a szem mozgását követve különböző szűrési és jelfeldolgozási algoritmusokat használva képes irányítani a képernyőn egy egeret.
Abstract In recent years, considerable research has been conducted in the field of developing systems that are capable of using bioelectric signals, measurable on different parts of the human body, to control machines. Scientific literature refers to these devices as BCI (BrainComputer Interface) or HMI (Human-Machine Interface) systems. These systems provide the basic communication and motor control abilities to people with severe motor disabilities, such as the ALS (amyotrophic lateral sclerosis), or for those who are paralyzed as a result of stroke or cervical spinal cord injury. These tools create a link between the human brain and the outside world, thereby improving the quality of life of patients and their families. There are non-invasive and invasive devices, which communicate mostly via visual stimuli, but some communicate via auditory and/or tactile stimuli with the user. Because of the complexity of biological systems, the processing and transformation of the bioelectric signals into controlling signals is not an easy task. The noise coming from various sources must also be removed from the Electro-oculogram (EOG) signal measured by electrodes placed on the skin around the eyes for determining the direction of the sight. The objective of my thesis work is the design and implementation of an EOG signal based (offline) Brain-Computer Interface, which is capable of processing and categorizing EOG signals recorded from experimental cases. Furthermore, the Interface is capable of moving the mouse on the display based on the extracted information, which allows for the selection of characters on the screen. This paper reviews the basics of BCI systems based on EEG / EMG / EOG signals, then presents the design of a Brain-Computer Interface based on EOG signals and the implementation of the (offline) software prepared, which is capable of controlling the mouse on the screen by detecting the movements of the eye using various filtering and signal processing algorithms.
1. Fejezet
Bevezetés Súlyos mozgatórendszerbeli zavarokban szenvedő, például a teljesen lebénult, „lockedin” szindrómás betegekkel való kommunikáció egy megoldatlan kihívás. Ilyenkor a páciensek nem tudnak mozogni, nem képesek kapcsolatot létrehozni a külvilággal, de a kognitív funkcióik még épek. Ezekben az esetekben jöhet szóba az agy-számítókép interfész (brain-computer interface BCI), mely az agy bioelektromos jeleit felhasználva képes valamilyen kapcsolatot létrehozni az agy és egy külső eszköz között. A BCI rendszerek általános célja az, hogy az általuk vizsgált agyi tevékenységekből olyan összetevőket ragadjanak ki, amit a felhasználó szándékával meg tud változtatni (pl. szemmozgás, alfa hullám). Mivel a súlyos mozgatórendszerbeli zavarokban szenvedő betegek száma sajnos egyre nő, az agy és a számítógépek közötti kommunikációt segítő BCI rendszerek tervezése és fejlesztése egyre fontosabb szerepet kapott a kutatásokban. A továbbiakban áttekintést nyerünk ezeknek az eszközöknek a fajtáiról, általános felépítésükről és működésükről, valamint kiemelten az EEG/EMG/EOG-alapú BCI rendszerek jellemzőivel ismerkedünk meg. Látható lesz, hogy többnyire ezek a betegek hosszú betanulási folyamat során tudják csak kontrollálni ezeket a rendszereket, képesek betűket írni a képernyőre, kurzor mozgatásával irányítani a „külvilágot”, internetezni, vagy akár levelezni is. A létező BCI rendszerek áttekintése után bemutatásra kerül egy, a diplomaterv keretében tervezett szemmozgáson alapuló szövegszerkesztő szoftver, mely az előre felvett EOG jelek feldolgozása után a számítógép képernyőjén az egeret jobbra, balra, fel és le mozgatva, valamint kattintva képes a virtuális billyentyűzeten karakterek kiválasztására. Az így szerkesztett üzeneteket el is tudjuk menteni.
1
2. Fejezet
Brain-Computer Interface (BCI)
Az agy-számítógép interfész (brain–computer interface (BCI), vagy brain–machine interface (BMI)) egy közvetlen kommunikációs út az agy és egy külső eszköz között. Gyakran olyan célt szolgálnak, hogy segítsék, bővítsék vagy javítsák az emberi kognitív vagy szenzorosmotoros funkciókat. A BCI rendszerek a mozgatórendszer súlyos zavaraiban kerülhetnek alkalmazásra. Ilyen súlyos mozgatórendszerbeli zavarok az amyotrophiás lateralsclerosis (ALS), az agytörzsben (híd) fellépő agyvérzés, és a gerincvelő sérülése is. A BCI célja az, hogy a teljesen bénult, vagy „locked-in” szindrómás betegek számára biztosítsa az alapvető kommunikációs
képességeket,
hogy
kifejezhessék
kívánságaikat
hozzátartozóiknak,
gondozóiknak, vagy akár szövegszerkesztő programokat, neuro protéziseket,
legyenek
képesek kezelni. A BCI az agyi bioelektromos jelek értékelésén alapul.
2.1. A BCI típusai Sokféle agy-számítógép interfész létezik. Számos módon lehet kategorizálni ezeket a rendszereket különböző szempontok, vagy az alkalmazott módszerek alapján:
•
Invazív / nem invazív rendszerek o A nem invazív rendszereknél a fejbőrről vesszük a jeleket. Ez egy egyszerű kommunikációt tesz lehetővé a lebénult betegek és a külvilág között. A jelek felbontása nem annyira jó, mint az invazív eszközöknél, mivel a koponya csontszövete megtöri, eltorzítja a jelet. Viszont kisebb a kockázata, hogy heg-
2
szövet és fertőzés képződjön az agyban. Ilyen az EEG, EOG, MEG és fMRI, stb. jeleket feldolgozó BCI. o Invazív rendszerek esetén az elektródákat beültetik az agykéregbe. Itt a legjobb a jel minősége, de a heg-szövet képződés kockázata is jóval magasabb, mint a nem invazív esetben. Amint a test idegen tárgyként kezeli az agyba ültetett eszközt, a jel gyengül és meg is szűnik. Példák invazív rendszerekre: ECoG (elektrokortikográfia), LFP (lokális mezőpotenciál, local field potential), SUA (egysejt aktivitás, single unit activity), MUA (soksejt aktivitás, multiple unit activity) (2.1.ábra).
2.1.ábra: Az elektrofiziológiai jelek elvezetésének helyei
•
Offline / online rendszerek o Az offline rendszereket egy aktuális BCI rendszer elméleti szimulációira használjuk, megkönnyítve a rendszer komponenseinek feltáró vizsgálatát. Ez lehetővé teszi, hogy például különböző elektróda pozíciókat, előfeldolgozó és extrakciós módszereket, osztályozókat, stb. vizsgáljunk. o Az online rendszereknél a jelfeldolgozás valós időben történik. Ez lehetővé teszi, hogy a rendszer visszajelzést adjon a felhasználónak.
•
Szinkron / aszinkron rendszerek o A BCI lehet szinkron (egyidejű), amikor a mentális tevékenységeket külső ingerek váltják ki. Ez egy számítógép-vezérelt rendszer, és az EEG jeleket csak előre definiált időablakokban lehet elemezni. 3
o Az aszinkron típusú BCI rendszer egy felhasználó-központú rendszer, ahol a felhasználó szándéka dönti el, hogy a mentális feladat bekövetkezzen. Mivel nem tudjuk, hogy mikor és milyen kontrol történt, az EEG jeleket folyamatosan kell elemezni és osztályozni. Ezáltal a pontossága kisebb, mint a szinkron rendszeré.
•
Univerzális / egyedi rendszerek o Az univerzális agy-számítógép rendszerek esetén több felhasználótól vett EEG adat alapján lehetséges olyan jellemzőket és olyan osztályozó függvényt találni, mely általában véve érvényes lesz minden felhasználó számára. A túl általános univerzális BCI rendszernek gyenge a teljesítménye. o Az egyedi BCI, az előzővel ellentétben egyénre szabott. Nincs két olyan személy, mely egyezne fiziológiailag és pszichológiailag.
•
Függő / független rendszerek o A függő BCI rendszerek az okuláris aktivitásra támaszkodva speciális EEG mintát generálnak, pl.: vizuális kiváltott potenciál (VEP). o A független BCI rendszerek nem használnak semmilyen izommozgást az EEG generálásához.
•
Paradigma (kognitív, szenzoros feladat) Az agy-számítógép interfészeket az alapján is be lehet sorolni, hogy milyen mentális feladatot kell a felhasználónak végrehajtania. Ezeknek a feladatoknak a kiválasztása szorosan kapcsolódik a rendszer tervezője által használni kívánt agytevékenységekhez vagy neuro mechanizmusokhoz.
•
Agyi mechanizmusok Különböző agyi mechanizmusok jellegzetes és megkülönböztethető agyi elektromos aktivitás mintát generálnak. Ezek alapján is kategorizálható egy agy-számítógép interfész. Ilyenek a lassú kérgi potenciálok (SCPs), a μ vagy ß ritmusok, a P300, az MRP, a vizuális kiváltott potenciálok (VEPs), és az agykérgi neuronok tüzelési rátái is.
4
•
Feldolgozó algoritmusok A BCI rendszereket osztályozni lehet az általuk használt jelfeldolgozó algoritmusok alapján is. Ezek az algoritmusok az EEG minta jellemzőinek kinyerésében (feature extraction) szerepet. Feladatuk
és klasszifikálásában játszanak fontos
az EEG tevékenység lefordítása egy a számítógép
számára könnyebben feldolgozható vezérlő utasításra.
•
Biofeedback A biológiai visszacsatolás (biofeedback) az a folyamat, amelynek alanya tájékoztatást kap fiziológiai vagy mentális állapotáról. Az vizuális, taktilis, vagy audió visszacsatolás jelentős pszichológiai hatással van a felhasználóra. Fontos szerepe van a sikeres adaptációban.
•
Alkalmazások Az alkalmazás típusától valamint a cálzott felhasználóktól függően további kategóriákba lehet sorolni az agy-számítógép interfészeket. A legtöbb alkalmazás
súlyosan
fogyatékosok
számára
készül
(különböző
kommunikációs eszközök, helyesírási programok, egyszerű környezeti vezérlők, stb ).
2.2. A BCI részei Egy általános BCI-rendszer vázlatát és működését az alábbi képen (2.2.ábra) [1] láthatjuk. Mint minden kommunikációs vagy vezérlő rendszernek, így a BCI-nak is van bemenete (pl. elektrofiziológiai aktivitás), kimenete (pl. gépi parancsok), komponensei, amik a bemenetet lefordítják kimenetté, és olyan protokollokat is tartalmaz, amik a meghatározzák a művelet kezdetét, végét, valamint időzítését.
5
2.2. ábra:BCI rendszerek
Az agy bioelektromos jeleit a fejbőrre helyezett, vagy beépített elektródákkal veszik, majd dolgozzák fel, hogy olyan specifikus jellemzőket nyerjenek ki, melyek a felhasználó szándékát tükrözik. Ilyen jellemző kivonó eljárás például a térbeli szűrés, spektrális analízis, egysejt szeparáció, stb. Ezeket a jellemzőket, egy eszközt, vagy szoftvert működtető parancsokra fordítják le (pl. egyszerű szót feldolgozó programot, kerekesszéket, neuroprotéziseket működtető utasításokra). A siker függ a két adaptív vezérlő, a felhasználó és a rendszer kölcsönhatásától. A felhasználónak jó korrelációt kell létrehoznia és fenntartania a saját szándéka és a BCI alkalmazta jelek jellemzői között, valamint a BCI rendszernek ki kell választania azokat a jellemzőket, amit a felhasználó irányítani tud, és ezeket helyesen és hatékonyan le is kell fordítania gépi parancsokra [1-3].
6
3. Fejezet
EEG alapú BCI rendszerek 3.1. EEG (Electroencephalography) Az elektroenkefalográfia az agy bioelektromos aktivitását méri a fejbőrön. Az EEG hullámok az agykéreg felszínéhez képest merőlegesen elhelyezkedő piramissejtek által kibocsájtott szinaptikus potenciálváltozások által jönnek létre. Az hajas fejbőrön vett EEG jelek amplitúdója 10-500μV, sávszélessége 0.5-40Hz között van. Az elektródák elhelyezését illetően több szavbány is létezik. Egyik ilyen standardizált szabvány a nemzetközi 10-20-as rendszer, amely négy anatómiai referenciapontot jelöl ki a skalpon: nasion (orrnyereg), inion (occipitális területen lévő kiemelkedés), valamint két preauriculáris pont (fülcimpák). Ezen referenciapontok között az elektródákat 10-, illetve 20%-os távolsággal helyezik el. A 10-20-as rendszerben az elvezetések helyét nagybetűvel jelölik (F-frontális, P-parietáis, C-centrális, T-temporális, O-occipitális), és a betűket követő páros számok a jobb, míg a páratlan számok a bal agyféltekére utalnak, a kis z betű pedig az elvezetés középvonali helyzetére (3.1.ábra). Ugyanakkor manapság egyre elterjedtebb a módosított 10-10-es rendszer használta, amely esetben az elektródákat 10%-os távolsággal helyezik el a referenciapontoktól.
7
3.1.ábra: Nemzetközi 10-20-as szabvány
3.2.ábra: Jellemző EEG görbék
A vizsgálatok során 31, 63 vagy 123 elektródával dolgoznak, de akár kétszáznál több csatornán is történhet az elvezetés. Az EEG vizsgálatok alatt mindig két elektróda közötti potenciálkülönbséget mérnek, ahol a mérések lehetnek bipolárisak, amikor a koponya két különböző pontján regisztrált görbét egymáshoz viszonyítva értékelik, és lehetnek unipolárisak, amikor a potenciálváltozásokat egy indifferens vagy inaktív (referencia) elektróddal felvett görbével hasonlítják össze. Az EEG regisztrálása során az analóg görbéket 8
digitális jellé alakítják át, így matematikai elemzéssel az EEG-görbét különböző frekvenciájú komponensekre bonthatják. A folyamatban meghatározzák az EEG-jel amplitúdóját egy frekvenciatartományban. A jellegzetes EEG görbéket a 3.2.ábra mutatja.
3.2. Példák EEG alapú BCI rendszerekre Három féle EEG-alapú BCI technológiát teszteltek embereken. Az egyik ilyen EEG-alapú agy-számítógép interfész a P300 eseményhez kötött potenciálra fókuszál (3.3.ábra/a).
3.2.1. P300 Az EEG felvételen a centrális kérgi területek felett a P300 jel 300ms-al az inger után jelenik meg. Legtöbb esetben ez az inger vizuális. Tipikus esetben betűket, számokat, vagy más vizuális ingereket rendeznek egy mátrixba, és a mátrix oszlopai, sorai egymás után gyorsan villognak, miközben a egyén arra koncentrál, amit ki szeretne választani. A P300 potenciál felismerésével a BCI rendszer meg tudja határozni a felhasználó választását. Jelenleg a felhasználók 20-30bit/perc kommunikációra képesek. Megfelelő szoftverekkel kombinálva a rendszer támogatja a szövegszerkesztést, mely 2-4-szó/perc sebességre képes. Bár ezek a kommunikációs arányok alacsonyak, a P300-alapú BCI visszaállítja a független kommunikáció képességét, nagymértékben javítva a felhasználó és családja életminőségét.
3.2.2. SMR (szenzoros-motoros ritmus, sensorymotor rhythm) Egy másik EEG-alapú BCI szenzoros-motoros ritmusokat használ (3.3.ábra/b). Ezek a ritmusok a szenzomotoros kérgi részekben felvett EEG jelekben 8-12 Hz (mu) valamint 18-26 Hz (beta) oszcillációk. A μ-ritmus és a β-ritmus amplitúdója jellemzően megváltozik mozgás, és érzékelés közben, valamint motoros képalkotás közben. Kutatások kimutatták, hogy az emberek képesek eltolni/irányítani a μ-ritmus és a β-ritmus amplitúdóját, és képesek ezt felhasználni arra, hogy a képernyőn az egeret (kurzort) irányítva kiválasszanak egy betűt, vagy egy ikont ; vagy arra, hogy egy ortopédiai eszközt megfelelően működtessenek. Mind az 1-dimenziós, a 2-dimenziós, sőt a 3-dimenziós kurzor mozgatás is megvalósítható. Hasonlóan a P300-alapú BCI-hoz az SMR-alapú rendszerek is támogatják az alap szövegszerkesztőt vagy más egyszerű funkciókat, valamint a neuroprosthetikus végtagok mozgásának többdimenziós irányítását is.
9
3.3.ábra: EEG alapú BCI rendszerek. (A) P300 eseményhez kötött potenciálon alapuló BCI. A lehetséges szimbólumokból álló mátrixot vetítettek a képernyőre. A centroparietális cortex feletti EEG jeleket mérték, mialatt ezek a szimbólumok felvillantak egymás után. A baloldali kép azt mutatja, hogy csak a felhasználó által kívánt szimbólum vált ki nagy P300 potenciált (pl. ~300 msal a villanás után pozitív potenciált). A jobb oldali rész azt mutatja, hogy a centroparietális kéreg mely részei vesznek részt a folyamatban. (B) Szenzomotoros ritmuson alapuló BCI. A szenzomotoros kéreg feletti EEG jeleket mérték. Betanított felhasználók kontrollálják a μ-ritmus (8-12Hz) vagy a β-ritmus(18-26 Hz) amplitúdóját, hogy a nyilat a képernyő tetején, vagy alján lévő célba irányítsák, vagy bármely közbülső helyre. A bal oldali rész a frekvencia spektrumot (felül) mutatja mindkét esetben, valamint azt, hogy a felhasználó a μ-ritmus frekvencia sávjára koncentrált. EEG minták is láthatóak ezen a képen(alul) és, hogy a μ-ritmus kiemelkedő abban az esetben, amikor a célpont a képernyő tetején volt, valamint minimális, amikor az alján volt. A jobb oldali részen a fejbőr topográfia azt mutatja, hogy az irányítás a jobb szenzomotoros kéreg fölé koncentrálódott. Azok a felhasználók, akiket megfelelően megtanulták a BCI-t, azok 2- illetve 3dimenziós mozgást is irányíthatnak.
3.2.3. SCPs (lassú kérgi potenciálok, slow cortical potentials) Az EEG alapú BCI még felismeri és használja a lassú kérgi potenciálokat (slow cortical potentials, SCPs), mely 300ms-tól több másodpercig is eltarthat. A páciensek megtanulják, hogy állítsanak elő lassú kérgi potenciálokat (SCP), amivel képesek még kurzort is mozgatni a képernyőn. Negatív SCP elmozdulás felfelé mozgatja a kurzort, a pozitív elmozdulás lefelé. Minden kísérlet végén az SCP amplitúdók iránya egy bináris válaszra, igenre vagy nemre 10
osztályozódnak. Mikor a páciens megbízhatóan tudja iránytani az SCP-ját, a válaszok felhasználhatók arra, hogy kiválasszon adatokat a képernyő alján.
Az elérhető P300-alapú, SMR-alapú, vagy SCP-alapú agy-számítógép interfészek főként vizuális ingerekre és vizuális visszacsatolásra támaszkodnak. Így, habár nem függenek a szemmozgásoktól, kell, hogy a felhasználó lásson, és képes legyen hosszan megtartani, amit néz [1-4]. Azok az emberek, akik súlyos fogyatékosok, nem szükséges éles látás, vagy a tekintet stabilan tartása. Vannak olyan BCI berendezések, amik auditív, vagy taktilis ingereket használnak, nem pedig vizuálisat. Ilyenkor célszerűbb ezeket az eszközöket használni.
3.3. Artefaktok (melléktermékek) Az artefaktok olyan nem agyi eredetű nem kívánatos potenciálok, melyek beszennyezik az EEG-t. Mivel így tévesen értelmezhetjük az agyból jövő bioelektromos jeleket, szükségünk van ezen artefaktok elkerülésére, minimalizálására, ideális esetben az EEG felvételből való eltávolítására. A tipikus artefaktok két forrásból eredhetnek: műszaki: vezetékek interferenciája, berendezés meghibásodása, rossz elektróda kontaktus, erősítő, illetve szűrők hibás beállításai, stb.
fiziológiai: más bioelektromos potenciálok, más testi aktivitás, különböző izmok mozgása (arc izmai, szemmozgató izmok, szívizom, végtagok izmai, stb), a bőr ellenállásának ingadozása (pl. izzadás miatt), stb.
Az EEG artefaktok detektálására, azok elkülönítésére, illetve eltávolítására számos algoritmus, eljárás, módszer létezik de ezek részletezésével most nem foglalkozunk.
11
4. Fejezet EMG alapú BCI rendszerek
4.1. EMG (Electromyography) Az elektromiográfia a harántcsíkolt izmok bioelektromos tevékenységének vizsgálata. Ezeket a bioelektromos jeleket az izomrostok akciós potenciáljai hozzák létre. Nyugalmi állapotban nincs EMG tevékenység. Enyhe kontrakciónál az egységpotenciálok izoláltan jelentkeznek, míg erős kontrakciónál sok motoros egység működik aszinkron módon. Ilyenkor a motoros egység potenciálok egymást átfedve jelentkeznek. Az elektródokat mindig a mérni kívánt izomcsoportok közvetlen közelében helyezik el. A mért EMG potenciálok általában 50 μV-os tartományban vannak, de a mért izomtól függően ezek a potenciálok akár a 20-30 mV-ot is elérhetik. A jelek sávszélessége, izmok méretétől függően mintegy 7-2000Hz. Az izomrostok összehúzódása és ernyedése által kiváltott akciós potenciálok elvezetésére több módszer is a rendelkezésünkre áll (4.1.1.ábra). Módunkban áll felszíni elvezetésre a bőrfelszínre helyezett (sEMG) elektrodákkal (4.1.2.ábra), koncentrikus tű elektróddal történő elvezetésre (a mélyebben fekvő izomrostok mérésére), valamint egyetlen rost (single fibre) elvezetésre is. Az EMG görbe lehetséges ábrázolási formáit az 4.3.ábrán figyelhetjük meg.
12
4.1.1.ábra: EMG elvezetési formák
4.1.2.ábra: Felszíni EMG elvezetés
13
4.1.3.ábra: Az EMG görbe ábrázolási formái
4.2. Példa EMG alapú BCI rendszerre Ha a páciens nem bénult le teljesen, azaz ha létezik még működő izomfunkciója, akár az arc izmairól, akár valamelyik végtagról van szó, használjunk izom mozgásokon alapuló agyszámítógép interfészeket, mivel gyorsabbak, mint az agyhullámokon alapuló rendszerek. Több féle EMG alapú BCI rendszer létezik. Van ami az arc izmait használja fel, hogy irányítson egy szoftvert a számítógépen, van ami a végtagjaink még működő izmait felhasználva vezérel egy neurális protézist, vagy mozgatja a képernyőn az egeret, stb. Az alábbiakban hasonló esetekre nézünk példát.
4.2.1. Kurzor mozgatás EMG-vel A cél egy hordozható (viselhető) eszköz kifejlesztése volt, mellyel mozgatni tudunk a képernyőn az egeret. A könnyű viselés érdekében a prototípust úgy tervezték meg, hogy a 4 mérő elektród, egy pánt segítségével, az alkar köré helyezhető fel, ráadásul tapadást segítő anyag használata nélkül (4.2.1/a ábra).
14
4.2.1.ábra: Kurzort mozgató EMG-alapú BCI
4.2.2.ábra: EMG-alapú BCI működés közben
15
A felhelyezés után az elektródok helyeit a 4.2.1\b ábra mutatja. Az earth elektród a csuklón helykedik el, míg a többi az alábbi izmok elektromos jeleit fogadja: Ch1: flexor carpi radialis; Ch2: flexor carpi ulnaris; Ch3: extensor carpi ulnaris; Ch4:extensor digitorum communis [5]. A csukló mozgások osztályozásához fuzzy min-max neurális hálózatot alkalmaztak (FMMNN). A minták megtanulása után 5 csukló mozgást (4.2.1\c ábra) tudott megkülönböztetni a rendszer. A mintafelismerés minden csukló mozgásra ~90%-os volt. A MATLAB-ban megírt GUI-t működés közben az 4.2.2.ábra mutatja.
16
5. Fejezet
EOG alapú BCI rendszerek 5.1. EOG (Electrooculography) A szemmozgásokat elekrookulográfia (EOG) segítségével vizsgálhatjuk. Az EOG elektrofiziológiai alapja, hogy a szemgolyó elektromos dipólusként viselkedik: pozitív pólusa a szaruhártya (cornea) felszínén, negatív pólusa a retina mögött helyezkedik el (5.1.ábra). A corneo-retinalis potenciált (CRP) részben az intraokuláris folyadék és a vér között fellépő Donnan-egyensúly, részben az érzéksejtekre (csapok, pálcikák) gyakorolt fényhatás okozza. Ez a potenciál különbség a szemgolyó körül elektromos teret hoz létre, melynek helyzete a szemmozgásokkal együtt változik. Ez a feszültség különbség általában 50 - 3500 uV közé esik, frekvencia tartománya kb. Dc-100 Hz-ig terjed.
A
viselkedése
±30
fokig
terjedő
szemmozgások esetén lineárisnak tekinthető. A mért potenciál azonban nemcsak egyénenként, de időben is változhat, akár azonos mérési körülmények artefaktokkal
esetén és
a
is,
valamint
környezetből
biológiai eredő
elektromos zajjal is terhelt. A potenciálváltozás a szemgolyó mellett elhelyezett megfelelő
elektródákkal erősítést
elvezethető
követően
és
vizsgálható
(5.2.ábra). Ez a jel felhasználható az elfordulás irányának, és mértékének maghatározására.
17
5.1.ábra: A szem felépítése
5.2.ábra: CRP kialakulása
A horizontális szemmozgások regisztrációja a temporálisan elhelyezett elektródákkal, míg a vertikális szemmozgásoké a szem alá és fölé helyezett elektródákkal történik. A földelő (referencia) elektródákat általában a homlok közepén és/vagy a fülcimpán vagy a nyakon helyezik el. Az elektródák lehetséges pozícióit a 5.3.ábra szemlélteti.
-horizontal(A,B) -vertical(C,D) -reference electrode(s)(E)
5.3.ábra: A szemekhez közel felhelyezett felszíni elektródák lehetséges pozíciói
18
5.2. Szemmozgások A látórendszer a külső szemizmok (négy egyenes és két ferde) segítségével a szemeket mindig úgy pozícionálja, hogy a vizsgált tárgy képe az éleslátás helyére, a fovea centralisra vetüljön (5.4 ábra).
5.4.ábra: Szemizmok
A szemgolyók mozgatása történhet akaratlagosan, és spontán. Az akaratlagos szemmozgások elsősorban a tárgyak kiválasztásában játszanak szerepet, ilyenkor az általunk kiválasztott, érdekesnek ítélt tárgyra fixáljuk tekintetünket. Ezt követően a vizsgált tárgyat a spontán/akaratlan szemmozgások tartják a látómezőben.
•
Lassú, követő mozgások biztosítják a mozgó tárgy megfigyelését.
•
A szakkádok gyors, hirtelen szemmozgások, amikor mozdulatlan tárgy megfigyelésekor, vagy olvasásnál tekintetünk egyik fikszációs pontról a másikra ugrik. Az információ-felvétel a szakkádok közötti szünetben történik. A szakkádok ideje alatt az érzékelés küszöbe emelkedik, és az információfelvétel szünetel. A szakkadikus szemmozgás a leggyorsabb mozgásforma az emberi szervezetben, sebessége 900 °/s sebességet is elérheti.
•
A vergens mozgásoknál a 2 szemgolyó befelé vagy kifelé térül a figyelt tárgy távolságának mértékében.
19
5.3. Példa EOG alapú BCI rendszerre 5.3.1. Viselhető EOG szemüveg Azokkal a rendszerekkel ellentétben, ahol videokamerát használnak, ez a kompakt eszköz az elektrookulográfiára (EOG) támaszkodik. Ez egy szemüvegből és egy hordozható egységből áll. A szemüveg keretébe vannak beépítve a száraz elektródák. A hordozható egységbe (Pocket) van a DSP, ami a valós idejű EOG jelfeldolgozást végzi (5.5.ábra). A készülék lehetővé teszi mindennapi környezetben a szem mozgásának zökkenőmentes érzékelését , a környezet felismerését és a szemen alapuló interakciókat [6].
b) a) 5.5.ábra: a) Az EOG-alapú szemmozgást követő hordozható eszköz részei:karkötős zsák(1), Pocket(2), szemüveg(3) és a száraz elektródák(4). A jobboldali képek viselés közben mutatják az eszközt, amin két horizontális (h) elektróda, két vertikális (v) elektróda, egy fényszenzor (l) és egy gyorsulásmérő (a) látható. b) A két részből álló hardver architektúra: EOG erősítés (EOG X, Y EOG), gyorsulásmérő (ACC), fényérzékelő (LIGHT), DSP, analóg-digitális átalakítók (ADC), EEPROM, Bluetooth modul (BT) és MMC (MultiMediaCard) memóriakártya.
Először külön-külön a horizontális és vertikális EOG jelekből, több jelfeldolgozó algoritmust végrehajtva, az eszköz meghatározza a szakkádok irányait, majd karakterekre konvertálja azokat (4 alap irány: bal,jobb,fel,le /L,R,U,D/). Másodszor a diagonális szemmozgások irányait detektálja és alakítja át karakterré (1,3,7,9). Az átlós szemmozgásokat egyidejű szakkádok kombinációiból határozza meg (5.6.ábra). A karaktereket lácba is rendezhetjük, ezáltal mintákat (gesztusokat) hozhatunk létre (5.7.ábra).
20
5.6.ábra: Szemmozgás irányok
5.7.ábra: Növekvő komplexitású gesztusok karakterkódolásukkal A szürke pont jelöli a kezdő pozíciót, a nyilak a szemmozgások sorrendjét és irányát határozzák meg.
A feladat az volt, hogy az alanyok egy számítógépes játék során az előre definiált gesztusokat sikeresen végrehajtsák, amilyen gyorsan csak lehet. Magas pontszám eléréséhez minimalizálni kellett a hibás szemmozgások számát. Hibás szemmozgás az, ami nem tartozik bele az várt gesztusba. Az eszköz 90-93%-os sikerrel ismerte fel az alanyok szemmozgását, ami nagyon jó érték. Hasonló gesztusokkal (szemmozgás mintákkal) rengeteg már létező és új alkalmazást felruházhatunk, ezáltal még könnyebbé téve azon személyek mindennapjait, akik valamilyen oknál fogva nem képesek mozgatni végtagjaikat.
21
6. Fejezet Saját EOG-alapú BCI tervezése A súlyos mozgatórendszerbeli zavarokban szenvedő betegek és a „külvilág” közti kommunikációban fontos szerepet játszanak a különböző agy-számítógép interfészek. Az előző fejezetekben megismerkedtünk a BCI rendszerek típusaival, azok általános felépítésével, működésével, továbbá láthattunk egy-egy példát agyi bioelektromos jeleken (EEG), EMG valamint EOG jeleken alapuló agy-számítógép interfészre. Az EOG alapú rendszerek legnagyobb előnye az egyszerű hardverigény és az alacsony ár. Ez a fejezet részletezi a diplomamunka keretében tervezett rendszer célját, követelményeit.
6.1. Tervezés célja A tervezés célja, hogy a súlyos mozgatórendszerbeli zavarokban szenvedő, teljesen lebénult betegek számára biztosítsunk egy eszközt, amivel képesek kommunikálni a „külvilággal, feljavítva ezzel a betegek és hozzátartozóik életminőségét. Ez az eszköz egy a szemmozgáson alapuló szövegszerkesztő program (lásd: 9. fejezet).
6.2. Rendszer felhasználói követelményei: A rendszer előre felvett EOG jelek alapján képes legyen meghatározni a szemmozgások irányát (jobbra, balra, fel, le), valamint a pislogást. A rendszer a számítógép képernyőjén képes legyen irányítani az egeret. A rendszer legyen egyszerű és törekedjen a robosztusságra 22
6.3. Szoftver tervezésekor kitűzött feladatok: A szoftver tervezése során az alábbi feladatokat tűztem ki célul: •
A szövegszerkesztő program grafikus kezelői felületének kialakítása, valamint funkcióinak implementálása
•
EOG jelek felvétele (az arra alkalmas eszközökkel, lásd 7. fejezet)
•
Előre felvett nyers EOG adatok betöltése
•
A jelek szűrése és feldolgozása, tekintet irányának meghatározása
•
A kapott eredményekből vezérlőjelek generálása
•
A vezérlőjelek alapján az egér irányatása, hogy a grafikus kezelőfelületen kialakított nyomógombokra kattintva üzenetet írhassunk a képernyőre.
6.4. Rendszer korlátai A rendszer nem foglalkozik az EOG mérések megvalósításával, az alkalmazott mérőeszközökkel, illetve a jelek A/D átalakításával. A mérések megvalósítását a 7. fejezet írja le, de a rendszerterv ettől független. A rendszer egyelőre csak offline adatokkal dolgozik, azaz még nem képes a valós idejű kommunikációra. Arra a rendszer továbbfejlesztésénél kerül sor.
23
7. Fejezet
Tesztadatok felvétele Az offline-program teszteléséhez nyers elektro-okulogram (EOG) adatokra volt szükség. A mérések a Pázmány Péter Katolikus Egyetem Információs Technológiai karának Látáskutató Laboratóriumában készültek. A jelek felvétele a labor tulajdonát képező EEG elektródasapkával történt, mivel az EEG és a EOG is a bőrfelszíni potenciálokat méri, csak a fej különböző területein. Az EEG jelek felvételéhez használt eszközök és azok közötti kommunikációs rendszer felépítését a 7.1 ábra mutatja. A következő fejezetek részletesen tárgyalják a felhasznált eszközöket illetve a tesztadatok mérésének kivitelezését.
7.1.ábra: A mérőrendszer felépítése
24
7.1. Elektródák Az EOG jelek rögzítése ezüst/ezüst-klorid passzív-elektródákkal történt. Ezeket az elektródákat rendszerint EEG regisztálásra használják. Az EEG elektródák bőrfelszíni potenciálokat mérnek, így alkalmasak a szemmozgások által generált felszültség változás mérésére is. A hajas fejbőr, a koponya és az agyhártyák fiziológiai tulajdonságuk miatt csillapítják a jel erősségét, ezért a jelminőség javítása érdekében az elektródák felhejezése előtt alaposan meg kell tisztítani a kérdéses bőrfelületet a szennyeződésektől és az elhalt hámsejtektől. Ezt általában alkoholos vattával végzik. Az elektróda sapka felhejezése után az elektródák és a bőr közé speciális elektróda-gél kerül szintén a jel minőségének javítása céljából. Az arcbőrre helyezett elektródákat, hogy ne csússzanak el, ragasztószalaggal rögzítik.
7.1.1. EOG konfiguráció: A mérések során 4 csatornás konfigurációt használtam az EEG jelek regisztrálására. Az elektródák pozícióját a 7.2.ábra szemlélteti. A függőleges szemmozgás az ábrán látható VU (Vertical_EOG_up) és VD (Vertical_EOG_down) elektródák jeleiből, a vízszintes szemmozgás pedig a HR (Horizontal_EOG_right) és a HL (Horizontal_EOG_left) elektródák jeleiből határozható meg.
7.2.ábra: Elektródák pocíciója a fejbőrön
25
7.2. Erősítők Az elektróda-sapkával regisztrált jelek erősítése „BrainVision BrainAmp MR” típusú erősítőkkel történt (7.3.ábra), melyek főbb jellemzői a következők [7]:
-
Csatornák száma:
32-128
-
Bemeneti Impedancia: 10MΩ
-
Bemeneti zaj:
< 1μVpp
-
A/D-Átalakító:
16bit
-
Jeltartomány (fix):
±16,384 mV
-
Felbontás (fix):
0.5 μV
7.3.ábra: A mérésnél használt erősítők (2db).
7.3. Recorder PC/Laptop Ez a gép rögzíti a mérés során keletkező nyers adatmennyiséget, majd TCP/IP-n keresztül továbbküldi azt a feldolgozó (Analyzer) Pc-nek. A Brain Vision Recorder szoftver RDA adatszervere biztosítja, hogy a kliens gép TCP/IP-n keresztül, valós időben megkapja a mérési adatokat. Adatfeldolgozás ezen a gépen nem történik. Az adatokat nyers formában az RDA klienst futtató Analyzer PC-re küldi. A Recorder gép fogadhat a rendszer kalibrálásához szükséges markereket, triggereket, amik a célképernyőre kiküldött stimulusokat reprezentálják. A markerek párhuzamos (LTP) porton keresztül érkeznek egy másik gépről, ami lehet akár a feldolgozó PC is. A Recorder laptop a kapott markereket hozzáfűzi az éppen regisztrált adatokhoz, és a markerjelekkel ellátott adatokat visszaküldi a feldolgozást végző Analyzer PC-nek.
7.4. Analyzer PC Az Analyzer PC-n kerülnek feldolgozásra a Recorder Pc-ről, TCP/IP-n keresztül kapott nyers EOG regisztrátumok, továbbá ennek a gépnek a feladata a kalibrációs eljárásokhoz szükséges stimulusok célképernyőre való eljuttatása is. A nyers adatok feldolgozását
26
bármilyen általunk írt szoftver elvégezheti. Mivel a diplomamunka keretében tervezett (offline) szoftver valósidejű feldolgozásra nem alkalmas, a nyers EOG adatokat lementettem és további feldolgozásra saját számítógépemre másoltam.
7.5. Célképernyő Az Analyzer PC a Célképernyőn jeleníti meg a kalibrációkhoz szükséges vizuális stimulusokat (fixációs pontok, célpont követés stb.). Az alanynak a mérés során ezt a képernyőt kell figyelnie, és reagálni a kapott stimulusokra.
Az Egyetem Látáskutató Laboratóriumában használt rendszer célképernyőjének paraméterei a következők: -
szélesség:
38 cm
-
magasság:
29cm
-
távolság:
48-52cm (a felhasználótól függ)
Annak érdekében, hogy a felvett jel a mozgások által generált zajoktól mentes legyen, a mérések során stabilan kell tartani a fejet. Ezt egy egyszerű fejtámasz segítségével valósítjuk meg.
7.6. Mérés menete -
A mérések elkezdése előtt az elektródákat fel kell helyezni a fejbőr előre meghatározott pontjaira (7.2.ábra). A felhelyezés előtt alkoholos vattával meg kell tisztítani kérdéses bőrfelületet a szennyeződésektől. Ezután a bőr és az elektródák közé egy speciális elektróda-gél kerül az impedancia csökkentése céljából. Az impedancia értéke elfogadtható, ha az 5kΩ körül van.
-
Az sapka felhelyezése után az elektródákat összekötjük az erősítővel, az erősítőt pedig a recorder PC-hez csatlakoztatjuk.
-
Ezután a Recorder PC-n elindítjuk a Brain Vision felvevő szoftverét és az RDA adatszervert.
-
A mérések 500Hz-es mintavételi frekvenciával történtek 0,5μV-os felbontással.
27
-
A mérés alatt az alany a képernyő közepét nézte és az utasításoknak (stimulus) megfelelően tekintetét hirtelen a négy alapirány egyikébe helyezte majd viszza középre. Ezt a mozdulatsort többször egymás után, minden irányba elvégeztük, hogy a további feldolgozáshoz kellő mennyiségű adat álljon a rendelkezésünkre. A mozdulatsorok között a szemek pihentetésére 2-3 másodperces szüneteket hagytunk. Ez alatt az alanyok pisloghattak.
-
A szemmozgás minták felvétele után a mérés a pislogás minták rögzítésével folytatódott. Arra kértük az alanyokat, hogy az átlagosnál erősebb pislogásokat végezzenek. Ezeket a pislogás mintákat használjuk fel később az egér kattintásra.
-
A felvétel során a pislogásokat és tekintet változásokat markerekkel láttuk el, hogy azok könnyen beazonosíthatóak legyenek a vizsálatuk során.
A mérés befejezése után az adatokat lementettük. Az így kapott .eeg, .vhdr,.vmrk kiterjesztésű fájlokat további felhasználásra eltároltuk.
28
8. Fejezet
Jelek Feldolgozása Ahhoz, hogy az agyi bioelektromos jelekből a szoftver számára értelmes vezérlő parancsokat generáljunk, abból a számunkra fontos információkat először ki kell nyerni. Az EOG jelek esetében ez a szemek elfordulását jelenti. Az elektro-okulogram ezen információinak elkülönítése érdekében, a jelből ki kell szűrni a külöböző zajokat, és interferenciákat. Ez a fejezet a kurzor mozgatásához szükséges vezérlő parancsok meghatározása érdekében alkalmazott szűrési és jelfeldolgozási eljárásokat írja le.
8.1. Vertikális és horizontális csatornák jelei A 8.1. és 8.2. ábra a mérések során rögzített horizontális és vertikális csatornák adatainak egy 50ezer mintából álló szeletét mutatja. Ezek azonban még csak a nyers adatok, amik a számunkra hasznos információtartalommal bíró jeleken kívűl más összetevőket, zajokat is tartalmaznak.
8.1.ábra: Horizontális bal (HEOGleft) és jobb (HEOGright) csatorna jelei 29
8.2.ábra: Vertikális felső (VEOGup) és alsó (VEOGdown) csatorna jelei
8.1.1. Jeleket terhelő zajok Az elektródák által felvett jelek különböző forrásból származó zajokat tartalmaznak, amik megnehezítik az adatok feldolgozását.
- Az egyik ilyen forrás nagyrészt a környezet elektromos eszközeiből származó magasfrekvenciájú zaj. Az elektro-okulogram átlagos frekvencia tartománya DC100Hz között van [6]. A magasfrekvenciájú zajok szűrését a legtöbb alkalmazás egy 30-35Hz-es vágófrekvenciájú aluláteresztő szűrővel oldja meg, ami ugyan levágja az EOG 35Hz-nél magasabb frekvenciájú részeit, ugyanakkor az elektromos hálózatból eredő 50Hz-es zajt is kiszűri. Ez a jelminőséget jelentős mértékben javítja.
- Egy másik forrás lehet a csatornák közötti áthallás, azaz a cross-talk. Ilyenkor a vertikális, illetve a horizontális csatornákon bizonyos mértékben érzékelhetőek horizontális, illetve vertikális kitérések. Ez a jelenség főként a vertikális csatornákat érinti, hatása a horizontális csatornákon elhanyagolható. Ez megfigyelhető a 8.3 ábrán is, ahol jobbra nézés esetén mindkét vertikális
30
csatornán pozitív irányú, balra nézés esetén pedig mindkét vertikális csatornán negatív irányú feszültség változás mérhető.
- Pislogáskor a szemhéjat mozgató izmok által generált EMG jelek hozzáadódnak az EOG jelekhez, ami mind a vertikális, mind a horizontális csatornákra is kifejti hatását. A horizontális csatornákon a változás mértéke elhanyagolható a vertikális csatornákon mérhetőkkel. A 8.4 ábrán is látható, hogy a pislogások által generált jel amplitúdója messze kimagaslik az EOG jelből. Meg tudunk különböztetni reflexes és az akaratlagos pislogást. A reflexes pislogásnak kisebb az amplitúdója és rövidebb ideig is tart ( 500Hz-es mintavételi frekvencia mellett kevesebb, mint 400 minta). Vannak alkalmazások, amik a pislogásokat kiszűrik, és vannak, amik felhasználják azokat.
- Ugyancsak zavaró hatással vannak az EOG jelekre a fej környéki izmok összehúzódásai is (rágás, nyelés, mosolygás, stb). Ezeket általában könnyű orvosolni egy egyszerű fejtámasz segítségével.
- Sajnos az EOG jeleken tapasztalható a corneo-retinális potenciál, azaz a CRP (lásd:5.1 fejezet) lassú elkúszása (Drift), ami eredhet a mérőeszközök belső zajaiból, a szem úgynevezett sötét-adaptációjából, de akár spontán is kialakulhat. Ennek szűrése nagyon nehéz, de a rendszeres újrakalibrálás megoldást nyújthat.
8.1.2. Tekintet és pislogás minták A mérések során felvett EOG jelekből kiválasztott tekintet mintákat a 8.3 ábra, míg a pislogás mintákat a 8.4 ábra mutatja. A 8.3 ábrán azok az esetek láthatók, amikor az alany a fixációs pontból hirtelen a négy alapirány (jobb, bal, fel és le) egyikébe nézett, majd vissza. Az áthallás jelenség jól megfigyelhető a vertikális csatornákon, amikor az alany jobbra, illetve balra nézett. A 8.4 ábrán pedig az EOG jelekből kitűnő, magas amplitúdóval rendelkező reflexes és akaratlagos (voluntary) pislogás közti különbséget figyelhetjük meg. A reflexes pislogás idejében rövidebb, amplitúdójában kisebb, míg az akaratlagos tovább tart és az amplitúdója is sokkal nagyob (a szemhéjakat mozgató izmok nagyobb igénybevétele miatt). 31
8.3.ábra: Tekintet minták
8.4.ábra: Reflexes és akaratlagos (voluntary) pislogás generálta jel
32
8.2. Előfeldolgozás - zajszűrés A tekintet irányának meghatározása előtt a nyers adaton zajszűrést kell végezni. Amennyire csak lehet, el kell távolítani a jelből azokat az összetevőket (lásd: 8.1.1. fejezet), amiknek a tekintet meghatározásában nincs szerepük. A magasfrekvenciájú zajok, illetve az elektromos hálózatból eredő 50Hz-es zaj szűrése 35Hz vágófrekvenciájú Butterworth aluláteresztő szűrővel történt. Tehát a tervezett szűrő átengedi a DC-35Hz közötti frekvenciákat, de a felette levőket nem. A 8.5 ábra az egyik vertikális csatornát mutatja szűrés előtt (felül) és szűrés után (alul).
8.5.ábra: Nyers (felül) és szűrt (alul) EOG
A szűrés után kapott minta még tartalmaz némi zajt, de az a további feldolgozást nem befolyásolja. A jelek szűrése után nekiláthatunk a tekintet, illetve pislogás minták jelből való kiszűréséhez.
33
8.3. Tekintet és pislogás detektálása Az adatok szűrése után először úgy próbáltam meghatározni a pislogások és a szakkádok helyét, hogy csatornánként figyeltem az amplitúdók értékét, és ha azok bizonyos küszöbértékek között, alatt, vagy felett voltak, akkor küszöbértéktől függően pislogtunk, vagy néztünk valamerre. Ám ez módszer az EOG jel DC komponensének lassú elkúszása, valamint az egyénenkét és mérésenként különböző adatok miatt nem tűnt jó megoldásnak. Az új elgondolás a pontenciálok thresholdolása helyett a pontenciál változás mértékét figyelte, azaz ha bizonyos távolságban lévő minták (100ms-os ablakméret) amplitúdóinak különbsége nagyobb az előre meghatározott küszöbértékek valamelyikénél, akkor mondhatjuk azt, hogy „változást” történt. A detektáló algoritmus a következő lépéseket teszi:
1.
A szűrt jel 100ms-os szeletein végighaladva kiszámolja az i-dik minta és az (i-50)-dik minta amplitúdókülönbségét mind a négy csatornán
2.
Az
amplitúdókülönbségeket
(differenciál
értékek)
összehasonlítja
a
három threshold értékével, majd azok alapján vezérlő parancsokat generál. Ezek a thresholdok a következők: threshold_look=60; threshold_blink=200; threshold_blink_big=800;
3.
%tekintet küszöbértéke %reflex pislogás küszöbértéke %akaratlagos pislogás küszöbértéke
A generált vezérlő jelek alapján az egér pozícióját egy előre meghatározott értékkel (25pixel) eltolja a négy alapirány egyikébe. Akaratlagos pislogás esetén pedig kattintunk az egérrel.
8.4. Eredmények Amint azt a 8.2 és 8.3 ábrán is láthatjuk, hogy az előre felvett jelek egyes szakaszain elindított detektáló algoritmus sikeresen felismerte a tekintetek irányát, valamint a pislogásokat. A program ezeket vezérlőjelekké alakította és az eredményt a kijelzőn is frissítette. A 8.2 és 8.3 ábrán látható pillanatfelvételek az adott jelszakaszok vizsgálatának kezdete után 2 másodpercel készültek. A fekete körök a sikeresen detektált szakkádokat illetve pislogásokat jelölik.
34
8.2.ábra: Detektált tekintetek
35
8.3.ábra: Detektált pislogások
36
9. fejezet
Az EOG_Text_Editor Program
Az EOG_Text_Editor program, a diplomamunka keretében tervezett szemmozgásokon alapuló kurzor vezérlést használó szövegszerkesztő program. Ez a fejezet részletesen leírja a program működését, és annak használatát. A szoftver feladata az előre felvett nyers EOG adatok betöltése, szűrése, és feldolgozása, valamint a kurzor irányítása a feldolgozott jelekből generált vezérlőjelek alapján, ezzel lehetővé téve a karakterek kiválasztását a számítógép képernyőjén.
9.1. Fejlesztői környezet A program MATLAB R2010b 7.11-es szoftverkörnyezetben íródott C nyelven. A MATLAB a műszaki számítások programnyelve. Rendkívüli előnye, hogy a felhasználónak nem a programozás mikéntjére, hanem inkább a megoldandó problémára kell koncentrálnia. A tervezett szoftver offline verzió, azaz csak előre felvett adatokat tud beolvasni és feldolgozni.
9.2. Grafikus kezelőfelület és működése A kezelő felület, ami egyből betöltődik a program indítása után, három fő részből áll (9.1.ábra). Az angol, és magyar virtuális billentyűzeteket tartalmazó „Keyboard” panelből, a „TextField” szövegmezőből, amely az addig leütött karaktereket tárolja és mutatja a képernyőn, valamint az EOG jeleket figyelő és azokat kirajzoló „EOG” panelből.
37
9.1.ábra: A szoftver grafikus kezelői felülete (GUI)
•
Keyboard panel: A grafikus interfész legnagyobb részét a Billentyűzet (Keyboard) panel foglalja el. Itt találjuk meg a szövegszerkesztés nélkülözhetetlen vezérlő- és karakterbillentyűit.
•
EOG panel: Ezen a panelen jelenítjük meg az előre felvett elektro-okulogram adatait, azaz kirajzoljuk az EOG görbéket.
•
Textfield: Ez egy szövegmező a kezelőfelület felső, középső részén, aminek feladata a leütött karakterek kijelzése.
•
Vezérlő jelek panel: A detektált szemmozgások információi alapján generált vezérlő jeleket mutatja.
•
Save, Load, Clear, Exit gombok: Természetesen a szöveg mentésére (Save), betöltésére (Load), vagy annak a kijelzőről való törlésére (Clear) is lehetőség van. Ha pedig befejeztük a munkánkat be is zárhatjuk a programot az EXIT (kilépés) gombbal.
38
9.2.1.
Keyboard Panel
A keyboard (billentyűzet) panel két részből épül fel. Egy keskeny sávban bal oldalon található a nyelvválasztó panel (LanguagePanel), melyen kettő gomb található. Ezekkel a nyomógombokkal tudja a felhasználó kiválasztani a billentyűzet nyelvét. A két lehetőség, ami rendelkezésünkre áll a magyar és angol nyelv. A jövőben természetesen a választható nyelvek listája bővülhet, ha van rá igény. A gombok közepén feltüntetett „Magyar”, illetve „English” felirat, valamint a nemzeti lobogók is segítik a felhasználót a megfelő nyelv kiválasztásában (9.2.ábra).
9.2. ábra: Language Panel
A kiválasztott nyelvet gombjára kattintva a „Keyboard” panelen megjelenik a kívánt karakterkészletű virtuális billentyűzet.
9.2.1.1. Virtuális billentyűzetek A
billentyűzetek
gombjainak
számát
(összesen
98db)
és
azok
méretét
(~70pixel*65pixel) figyelembe véve ésszerű döntés volt azokat külön panelekbe, csoportokba rendezni és mindig csak az egyik panelt megjeleníteni, a többi láthatóságát pedig kikapcsolni. Ezáltal a grafikai interfész nem lesz tele gombokkal, nem tűnik zsúfoltnak, lehetővé téve a nyugodt, mindenféle zavaró tényezőtől mentes használatot.
39
9.2.1.2. Vezérlő gombok (Control Keys) Ha szöveget írunk, elengedhetetlenül szükségünk van olyan speciális gombokra, melyekkel a leírni kívánt karaktersorozatot „formálni” tudjuk. Vezérlő gombok: „Space” (szóköz ) gombbal egy karakternyi üres hely, vagy szünet írható. „Enter” (kocsivissza) billentyűvel új sort szúrhatunk a szövegbe (sortörés). „Backspace” (Bksp) gombbal a szövegkurzor előtti karakter törölhető. „Shift” billentyű a kis és nagy betűk közötti váltást teszi lehetővé. „<<” és „>>” gomb, melyekkel a szövegkurzor pozícióját tudjuk változtatni. Jelen program esetén balra illetve jobbra. valamint az ABC és a NUM/SPEC panelek között váltó gombok: - A „.?! 123” gombra kattintva pedig előhozzuk a numerikus, illetve speciális karaktereket tartalmazó panelt. - „abcd..” gombra kattintva visszalépünk az angol, vagy magyar nyelvű billentyűzetre (a rendszer megjegyzi, hogy melyiket használtuk). A vezérlő gombok minden billentyűzeten (magyar, angol, Num/Spec) megjelennek, így bármelyik panelen is tartózkodunk, mindig a rendelkezésünkre állnak.
9.2.1.3. Angol billentyűzet Az angol billentyűzet a vezérlő gombokon kívül a 26 karakterből álló angol ábécé betűit tartalmazza, amit a 9.3 ábra is mutat.
9.3.ábra: Angol Billentyűzet
40
9.2.1.4. Magyar billentyűzet A magyar billentyűzet a Q,W,X,Y betűkkel kiterjesztett 44 karakterből álló magyar ábécé betűit tartalmazza, leszámítva a kettős (Cs, Dz, Gy, Ly, Ny, Sz, Ty, Zs) és hármas (Dzs) betűket. Így ez a panel a vezérlő gombokon kívül összesen 35 karaktert foglal magában, amint azt a 9.4 ábra is mutatja.
9.4.ábra: Magyar billentyűzet
9.2.1.5. Numerikus/Speciális (Num/Spec) billentyűzet Ez a panel, a nevéből is adódik, a
numerikus (0,1,...9), valamint a speciális
karaktereket tartalmazza. Speciális karakterek a mondatközi, illetve mondatvégi írásjelek, a különböző zárójelek , műveleti jelek stb. A numerikus panel felépítése az alábbi ábrán (9.5 ábra) látható .
9.5.ábra: Numerikus/Speciális billentyűzet
41
9.2.2.
EOG Panel
Ez a panel jeleníti meg a 2 horizontális és a 2 verrtikális elektródá által vett jeleket. Az adatfeldolgozás sebességének növelése érdekében a rendszer csatornánként mindig csak 5 másodperces intervallumokat vizsgál. Ezért a panel tengelyein is csak 5 másodpercnyi adatot tudunk kijelezni. Ez az adatmennyiség 500Hz-es mintavételezési frekvencián 2500 mintát jelent. Ahogy a jelfeldolgozó függvény iterálja a belső futóváltozóit (azaz tologatja az ablakot, ami alatt vizsgál), úgy frissíti a panelre kirajzolt EOG görbéket.
9.2.3.
Textfield Panel
A Textfield szövegmező feladata a felhasználó által leütött karakterek kijelzése. Az újonnan „begépelt” betűket a szövegfeldolgozó függvény (Push_Alphabet) a már korábban beírt szöveg végéhez fűzi, és az így kapott egy karakterrel hosszabb szöveget a Textfield a képernyőre írja.
9.2.4.
Vezérlő jelek Panel
A vezérlő jelek panel tárolja és mutatja az EOG jelek feldolgozása során sikeresen generált és kiadott vezérlő parancsokat (Right, Left, Up, Down, Click).
9.2.5.
Egyéb gombok
A szövegszerkeztéshez nélkülözhetetlen Save, Load, Clear, valamint a program kilépéséhez szükséges Exit gombok funkcióit írják le az alábbi fejezetek.
9.2.5.1. Save A Save (mentés) gombra kattintva a TextField szövegmező tartalmát lekérdezi és soronként (ha több sorból áll) kiírja egy .txt fájlba, majd elmenti „Save.txt” néven.
9.2.5.2. Load A Load (betöltés) gombra kattintva betölti a „Save.txt” fájlt, amennyiben az létezik. Ezekután a fájl tartalmát soronként kiírja a TextField szövegmezőre. 42
9.2.5.3. Clear A Clear (törlés) nyomógombra kattintva a Textfield szövegmező tartalmát egyszerűen kitöröljük, üres karaktert írunk a helyére.
9.2.5.4. Exit Az Exit gomb megnyomásával a program kilép.
9.3. A program futtatása A szoftver számítógépen való indításakor az alábbi folyamatok játszódnak le: -
A program induláskor létrehozza a grafikus felhasználói felület paneljeit, nyomógombjait, szövegmezőit, stb.
-
Ezután betölt egy előre felvett EOG jeleket tartalmazó fájlt.
-
Ha a fájl betöltődött, a program megjeleníti a kezelőfelületet, a kurzort automatikusan a magyar nyelvválasztó gombra poziciónálja.
-
Ezek után elindul a jelfeldolgozó algoritmus, mely az jelek szűrése után bizonyos ablakozással végigfut az adatokon tekintet, illetve pislogás mintákat keresve.
-
Ha talált tekintet, illetve pislogás mintát, megfelelő vezérlőjelet küld az egeret irányító függvénynek, mely ezek után a négy alapirány egyikébe tolja a kurzort. Kattintáskor az egér pozíciója alatt található grafikai objektumokat kezelő függvények hívódnak meg.
-
A detekciós függvény addig tart míg az adatok végére nem érünk, vagy amíg ki nem lépünk a programból.
43
10. fejezet Összefoglalás és Konklúzió 10.1. Összefoglalás Az EEG-alapú BCI rendszerek biztosítják az alap kommunikációs és motoros irányító képességeket olyan emberek számára, akik súlyos mozgatórendszerbeli zavarban szenvednek, mint például az ALS, vagy akik lebénultak agyvérzés, vagy nyaki gerincvelő sérülése miatt. Ezek a berendezések kapcsolatot teremtenek az emberi agy és a külvilág között, feljavítva ezzel a betegek, és hozzátartozóik életminőségét. Léteznek olyan invazív és nem invazív készülékek, melyek többnyire vizuális ingerekkel, de van olyan is, ami auditív és/vagy taktilis ingerekkel kommunikálnak a felhasználóval. Az EEG-alapú BCI rendszerrel, P300 paradigmát, lassú kérgi potenciálokat, valamint szenzomotoros ritmusokat felhasználva a felhasználó képes volt betűket választani egy mátrixból előrevetítve a jövőbeli írás képességét, valamint képes volt egy kurzort irányítani, ami megkönnyíti a bonyolult rendszerek kezelését, hiszen csak rá kell kattintani a megfelelő utasításra és az eszköz végrehajtja azt. Ugyancsak képesek vagyunk levelet írni, a képernyőn egeret mozgatni, robotkart irányítani, különböző számítógépes alkalmazást kezelni, vagy akár egy játékot irányítani EMGalapú, illetve EOG-alapú BCI rendszerekkel is. A dolgozat áttekintette agy-számítógép interfészek (BCI) típusait, valamint példával szolgált EEG, EMG, és EOG jeleken alapuló BCI rendszerekre is. Ezután elkészült egy EOG jeleken alapuló (offline) agy-számítógép interfész terve, valamint konkrét algoritmusokra épülő szoftveres implementációja is. A program a nyers adatokon először zajszűrést végez, majd tekintet és pislogás detekciót hajt végre. Sikeres detekció esetén vezérlőjeleket generálva a számítógép egerének mozgatásával (jobb, bal, fel, le, kattintás) karakterek kiválasztását teszi lehetővé a képernyőn. 44
10.2. Konklúzió A EOG_Text_Editor szoftverrendszer sikeresen végrehajtotta a tervezéskor kitűzött célokat. Képes az EOG jelekből kinyerni a tekintet irányára vonatkozó információkat, azokat vezérlő jelekké alakítani, melyek akár felhasználhatók Human Machine Interface alkalmazásokban. Viszont ez a rendszer még nem teljes. A rendszer korlátai közé tartozik, hogy egyelőre csak offline képes adatokat feldolgozni, azaz valós időben rögzített szemmozgásokat még nem tud kezelni. A jövőben a rendszer online verziójának implementálására kerül sor. A rendszer pontossága és felhasználhatósága vélhetően tovább növelhető az alábbiak segítségével: -
Az adatok online feldolgozása és szűrése
-
A mért nyers EOG adatok zajszintjének további csökkentésével (jobb mérési körülmények, egyre pontosabb eszközök segítségével)
-
Megbízhatóbb zaj-szűrő és pislogás szűrő algoritmusokkal még pontosabb szakkád-detekció érhető el
-
A lassú szemmozgások szűrésével
-
A gyorsaság növelhető optimalizált programozással és algoritmusokkal
-
A rendszer számára speciálisan gyártott hardverrel a jövőben csökkenthető a rendszer ár- és eszközigénye.
45
Irodalomjegyzék [1]. Wolpaw, J.; Birbaumer, N.; McFarland, D.; Pfurtscheller, G. & Vaughan, T., "Braincomputer interfaces for communication and control", Clinical Neurophysiology, 113, 2002, pp.767-791
[2]. J.J. Daly and J.R. Wolpaw, "Brain-computer interfaces in neurological rehabilitation", The Lancet Neurology, 2008
[3]. Dean J. Krusienski and Jonathan R. Wolpaw, ” Brain–computer interface research at the wadsworth center: developments in noninvasive communication and control”, International Review of Neurobiology, Rossini, Summerer, and Izzo (Eds.), 86, Elsevier 2009., pp. 147-57
[4]. Raymond Carl Smith, „Electroencephalograph based Brain Computer Interfaces”, Thesis work, University College Dublin (NUI), 2004
[5]. H. Jeong and J. H. Choi, "An EMG-controlled Graphic Interface Considering Wearability," in Proceedings of the Human-Computer, Interaction INTERACT' 03, 2003, pp. 958-961
[6]. Andreas Bulling, Daniel Roggen, Gerhard Tröster, „It’s in Your Eyes - Towards Context-Awareness and Mobile HCI Using Wearable EOG Goggles”, Proc. of the 10th International Conference on Ubiquitous Computing (UbiComp 2008), Seoul, South Korea, pages 84-93, ACM Press, September 2008.
[7]. BrainVison Products - http://brainproducts.com/productdetails.php?id=5
46
