Západočeská univerzita v Plzni Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky. potenciály (SSVEP) a jejich aplikace v systému BCI

Za´padoˇceska´ univerzita v Plzni Fakulta aplikovanyćh vˇed Katedra informatiky a vy´poˇcetn´ı techniky

Diplomov´ a pr´ ace Ust´ alen´ e vizu´ aln´ı evokovan´ e potenci´ aly (SSVEP) a jejich aplikace v syst´ emu BCI

Plzeˇ n 2012

Martin Fornbaum

Prohl´ aˇ sen´ı Prohlaˇsuji, ˇze jsem diplomovou práci vypracoval samostatnˇe a v´ yhradnˇe s pouˇzit´ım citovan´ ych pramen˚ u. V Plzni dne 9. kvˇetna 2012 Martin Fornbaum

Abstract This dissertation deals with SSVEP application in the field of BCI. There are analyzed methods of measure brain waves, the principles of evoked potentials and how we can process EEG data in the first part. The next section is designed the BCI on the principle of SSVEP. It is about the control of robotics car which turned there where the user concentrates their attention. It was necessary to take into consideration principles of the brain and the individual differences of each person during the measuring and design modules of the system by sufficiently robust manner. Implementation of modules needed for the BCI is described in subsequent chapters. This includes modules for retrieval of the data, processing the EEG and classification. The last part of the dissertation includes an validation of the individual functions of each modules and the evaluation of the results.

Obsah ´ 1 Uvod 2 Elektroencefalografie 2.1 Elektroencefalograf . . . . . . . . 2.1.1 Elektrody . . . . . . . . . 2.2 Sn´ımán´ı signálu EEG . . . . . . . 2.2.1 Frekvence v EEG záznamu 2.2.2 Artefakty . . . . . . . . .

1

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

3 Evokovan´ e potenci´ aly 3.1 Princip vzniku evokovaného potenciálu . . . . 3.2 Vizuáln´ı evokované potenciály . . . . . . . . . 3.2.1 Stimulace zrakové dráhy . . . . . . . . 3.2.2 Ustálené vizuáln´ı evokované potenciály 3.3 Sluchové evokované potenciály . . . . . . . . . 3.3.1 Faktory ovlivˇ nuj´ıc´ı záznam . . . . . . . 3.4 Somatosenzorické evokované potenciály . . . . 3.5 Motorické evokované potenciály . . . . . . . . 3.6 Endogenn´ı evokované potenciály . . . . . . . . 3.6.1 Stimulace . . . . . . . . . . . . . . . . 4 Zpracov´ an´ı EEG dat 4.1 Základn´ı zpracován´ı signálu . . . . . . . . . 4.1.1 Vzorkován´ı signálu . . . . . . . . . . 4.1.2 Zpracován´ı kanál˚ u . . . . . . . . . . 4.2 Fourierova tranformace . . . . . . . . . . . . 4.2.1 Diskrétn´ı Fourierova transformace . . 4.2.2 Rychlá Fourierova transformace . . . 4.2.3 Krátkodobá Fourierova transformace

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

. . . . . . . . . .

. . . . . . .

. . . . .

2 2 3 4 4 8

. . . . . . . . . .

9 9 10 10 13 14 15 16 16 17 17

. . . . . . .

18 18 18 20 21 21 23 24

OBSAH

OBSAH

5 Klasifikace dat 5.1 Pˇr´ıznakové rozpoznáván´ı . . 5.1.1 Diskriminaˇcn´ı funkce 5.1.2 Pˇr´ıznakov´ y vektor . . 5.1.3 Klasifikátory . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

25 25 26 26 28

6 N´ avrh a implementace BCI 6.1 Souˇca´sti BCI . . . . . . . . . . . . . . . . . . 6.2 Modul pro stimulaci . . . . . . . . . . . . . . 6.2.1 Popis programu Presentation . . . . . 6.2.2 Poˇzadavky na scénáˇr . . . . . . . . . . 6.2.3 Implementace scénáˇre . . . . . . . . . 6.3 Modul pro naˇc´ıtán´ı dat EEG . . . . . . . . . . 6.3.1 Naˇc´ıtán´ı ze souboru . . . . . . . . . . . 6.3.2 Naˇc´ıtán´ı v reálném ˇcase . . . . . . . . 6.4 Modul pro zpracován´ı dat . . . . . . . . . . . 6.4.1 Uloˇzen´ı dat . . . . . . . . . . . . . . . 6.4.2 Transformace kanál˚ u . . . . . . . . . . 6.4.3 DFT a FFT . . . . . . . . . . . . . . . 6.5 Modul pro klasifikaci . . . . . . . . . . . . . . 6.5.1 Implementace klasifikátoru . . . . . . . 6.6 Modul pro v´ ybˇer vhodné stimulaˇcn´ı frekvence 6.6.1 Algoritmus v´ ybˇeru frekvenc´ı . . . . . . 6.7 Modul ovládán´ı modelu auta . . . . . . . . . . 6.8 Demonstraˇcn´ı programy . . . . . . . . . . . . 6.8.1 Program pro naˇc´ıtán´ı dat ze souboru . 6.8.2 Program pro real-time komunikaci . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . .

31 31 32 34 36 37 40 40 42 45 45 45 46 47 47 50 51 51 51 53 56

. . . . . . . .

62 62 62 63 64 66 66 66 70

7 Ovˇ eˇ ren´ı funkˇ cnosti modul˚ u 7.1 Naˇc´ıtán´ı EEG dat . . . . . 7.2 Zpracován´ı EEG dat . . . 7.2.1 FFT a DFT . . . . 7.3 Klasifikace . . . . . . . . . 7.4 Celkov´ y test . . . . . . . . 7.4.1 Popis experimentu 7.4.2 Zpracován´ı dat . . 7.4.3 Závˇer experimentu

. . . . . . . .

. . . .

. . . . . . . .

8 Z´ avˇ er

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

71

4

´ 1 Uvod Jiˇz od vynalezen´ı prvn´ıch stroj˚ u bylo zapotˇreb´ı je nˇejak ovládat. Po mnoho stolet´ı se jednalo o ovládán´ı ˇcistˇe manuáln´ı. Pˇr´ıchod poˇc´ıtaˇc˚ u vˇsak tento zp˚ usob zmˇenil a zaˇcaly se vym´ yˇslet nové zp˚ usoby pro ovládan´ı vˇsech moˇzn´ ych zaˇr´ızen´ı. Prvn´ı myˇslenka, která vˇetˇsinu lid´ı napadne, je ovládat stroje pˇrirozenou ˇreˇc´ı. Komu vˇsak tohle nestaˇc´ı, m˚ uˇze v myˇslenkách plout do vod ménˇe probádan´ ych, ˇc´ımˇz je napˇr´ıklad ovládán´ı stroj˚ u pˇr´ımo pomoc´ı mozku. Ovládán´ı zaˇr´ızen´ı pomoc´ı mozku m˚ uˇze zn´ıt trochu jako ze sci-fi knihy, ale pravdou je, ˇze nˇekteré z tˇechto systém˚ u jsou jiˇz spolehlivé a pˇripravené k reálnému nasazen´ı. Samozˇrejmˇe, ˇze se nejedná o ˇr´ızen´ı vˇec´ı myˇslenkou, ale jsou pro to vyuˇz´ıvány známé principy fungován´ı mozku. Vˇsechny tyto systémy jsou souhrnnˇe oznaˇcovány zkratkou BCI (brain computer interface). C´ılem této práce je navrhnout systém BCI pro ovládán´ı robotického voz´ıtka pomoc´ı ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u. Pro vytvoˇren´ı celého systému je zapotˇreb´ı prostudovat principy a zp˚ usob zpracováván´ı ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u a následnˇe naimplementovat potˇrebné moduly. Podobné systémy na tˇechto principech na své reálné vyuˇzit´ı zat´ım ˇcekaj´ı, ale lze pˇredpokládat, ˇze postupem ˇcasu budou BCI systémy bˇeˇzn´ ym pomocn´ıkem pro tˇelesnˇe hendikapované. Problémem zde stále z˚ ustává nutnost pˇr´ıtomnosti elektrod na skalpu, coˇz v´ yraznˇe ovlivˇ nuje pohodlnost pouˇzit´ı.

1

2 Elektroencefalografie Elektroencefalografie patˇr´ı k základn´ım metodám pro vyˇsetˇren´ı mozku. Prvn´ı zachycen´ı elektrické aktivity mozku bylo provedeno uˇz na konci 19. stolet´ı, pˇriˇcemˇz zaloˇzen´ı skuteˇcné elektroencefalografie se odehrálo ve 20. letech 20. stolet´ı. V pr˚ ubˇehu dalˇs´ıch let doˇslo k velkému rozvoji elektroencefalografie a ve 30. letech uˇz byly známy základn´ı patologie. Postupem ˇcasu se vyv´ıjela zaˇr´ızen´ı pro mˇeˇren´ı EEG, zejména s rozvojem v´ ypoˇcetn´ı techniky pˇriˇsly velké zmˇeny, nicménˇe základn´ı kˇrivka z˚ ustává vizualizována stejn´ ym zp˚ usobem jako na poˇca´tku. Toto vyˇsetˇren´ı patˇr´ı k tzv. neinvazivn´ım vyˇsetˇren´ım a pouˇz´ıvá se jako základn´ı vyˇsetˇren´ı vˇsech poruch mozku v neurologii a ve vˇetˇsinˇe pˇr´ıpad˚ ui v psychiatrii. Záznam zachycen´ y pˇri elektroencefalografii se naz´ yvá elektroencefalogram (EEG) a odráˇz´ı se v nˇem mozková aktivita - r˚ uzné fáze spánku a stavy vˇedom´ı, projevy metabolick´ ych poruch, vlivy drog ˇci toxick´ ych látek. [8]

2.1

Elektroencefalograf

Elektroencefalograf je pˇr´ıstroj slouˇz´ıc´ı k z´ıskán´ı EEG. Jelikoˇz jeho v´ yvoj zaˇcal jiˇz na konci 19. stolet´ı, nemohla b´ yt vyuˇzita ˇc´ıslicová technika a jednalo se o pˇr´ıstroj plnˇe analogov´ y. Aˇz v 80. letech pˇriˇsel nov´ y model, kter´ y se pouˇz´ıvá dodnes. Analogové pˇr´ıstroje vyuˇz´ıvaly k zobrazován´ı osciloskopickou obrazovku s jedn´ım a pozdˇeji i v´ıce kanály. Záznam prob´ıhal na pap´ır pˇr´ımo p´ıˇs´ıc´ımi galvanometry s inkoustem. ˇ ıslicov´ C´ y elektroencefalograf je rozdˇelen na dvˇe hlavn´ı ˇca´sti (obrázek 2.1). V tzv. head boxu je celá vlastn´ı elektronika a b´ yvá um´ıstˇen co nejbl´ıˇze k hlavˇe pacienta. V této ˇca´sti docház´ı k zes´ılen´ı signálu, filtraci a k digitalizaci signálu. Dalˇs´ı ˇca´st je samotn´ y poˇc´ıtaˇc, ve kterém docház´ı k zobrazován´ı dat pomoc´ı softwaru od v´ yrobce.

2

Elektroencefalografie

Elektroencefalograf

Obrázek 2.1: Schéma elektroencefalografu

2.1.1

Elektrody

Pro r˚ uzné typy vyˇsetˇren´ı jsou pouˇz´ıvány r˚ uzné druhy elektrod. Elektrody lze napˇr´ıklad rozdˇelit takto: • Povrchové - kovové deskové elektrody nebo suché elektrody (izolované/neizolované); • Podpovrchové - jehlové elektrody vpichové nebo implantabiln´ı elektrody; • Mikroelektrody - kapilárn´ı elektrody pro sn´ımán´ı z bunˇek nebo implantabiln´ı elektrody (sn´ımán´ı z mozku); Jak jiˇz bylo ˇreˇceno, elektroencefalografie je neinvazivn´ı vyˇsetˇren´ı, tud´ıˇz se pouˇz´ıvaj´ı povrchové elektrody. Elektrody mus´ı b´ yt nepolarizovatelné, ˇcemuˇz odpov´ıdaj´ı vzácné kovy (zlacené elektrody) nebo nejˇcastˇeji pouˇz´ıvané elektrody typu AgCl, které se skládaj´ı z vrstvy ˇcistého stˇr´ıbra pokrytého tenkou vrstvou chloridu stˇr´ıbrného. Tyto elektrody se mus´ı kombinovat s vodiv´ ymi gely. [4]

Vodiv´ e pasty a gely Pro dobré vodivé spojen´ı mezi elektrodou a tˇelem se pouˇz´ıvaj´ı vodivé gely, které vypln´ı prostor mezi elektrodou a tˇelem pacienta (obrázek 2.2).

3


Sn´ımán´ı signálu EEG

Obrázek 2.2: Schéma elektroencefalografu

2.2

Sn´ım´ an´ı sign´ alu EEG

Jelikoˇz jsou elektrody pˇriloˇzeny na lebku pacienta, jsou amplitudy mozkov´ ych vln tlumeny pr˚ uchodem pˇres vrchn´ı ˇca´st lebky na u ´rovˇen ˇ ˇrádovˇe des´ıtek mikrovolt. Dalˇs´ım problémem je, ˇze EEG signál vzniká jako váˇzená sumace velkého mnoˇzstv´ı neuron˚ u, takˇze nelze odliˇsit akˇcn´ı potenciál jednotliv´ ych bunˇek. D˚ usledkem b´ yvá na prvn´ı pohled nepravideln´ y pr˚ ubˇeh, ve kterém jsme schopni pozorovat pouze signály s urˇcitou periodou. [2] Rozloˇzen´ı elektrod na povrchu lebky vypl´ yvá z definovan´ ych m´ıst na lebce a následném rozdˇelen´ı vˇsech vzdálenost´ı po 10 % a 20 %. Tento zp˚ usob rozloˇzen´ı elektrod se naz´ yvá systém 10-20 (obrázek 2.3) a definuje um´ıstˇen´ı 19-ti základn´ıch mˇeˇr´ıc´ıch elektrod. Sn´ımán´ı vˇetˇs´ım poˇctem elektrod definuje systém 10-10 a pro experimentáln´ı u ´ˇcely lze pouˇz´ıt aˇz 128 elektrod. [8]

2.2.1

Frekvence v EEG z´ aznamu

EEG signál je tvoˇren vlnami sinusového tvaru a dˇel´ı se podle frekvenc´ı. Kaˇzdá z tˇechto frekvenc´ı se objevuje za urˇcité situace a v závislosti na stavu subjektu. Nejˇcastˇeji se objevuj´ı mozkové vlny Delta, Theta, Alfa, Beta a Gama. 4



Obrázek 2.3: Systém rozloˇzen´ı elektrod 10-20 Kaˇzd´ y typ mozkov´ ych vln má uveden´ y rozsah frekvenc´ı, které se v r˚ uzn´ ych zdroj´ıch literatury nemus´ı shodovat, nebot’ konkrétn´ı frekvence, na které se vlna vyskytuje se liˇs´ı v závislosti na pacientovi a podm´ınkách. [1]

Delta Vlny delta jsou mozkové vlny o frekvenc´ıch menˇs´ıch neˇz 4 Hz. Tyto vlny se bˇeˇznˇe objevuj´ı u dospˇel´ ych v nejhlubˇs´ı fázi non-REM spánku nebo u dˇet´ı. Na EEG záznamu je lze poznat podle vysok´ ych amplitud a n´ızké frekvence (viz obrázek 2.4). Aˇckoliv jsou tyto frekvence známkou tvrdého spánku, ukázalo se, ˇze nˇekteˇr´ı lidé jsou schopni se bˇehem meditace dostat do této fáze, ba co v´ıc, dokonce v n´ı i komunikovat.

Th´ eta Objevuje se v rozmez´ı mezi 4 - 7 Hz. Bˇeˇznˇe m˚ uˇze b´ yt pozorována u dˇet´ı do 13-ti let nebo u dospˇel´ ych ve stavu ospalosti nebo po probuzen´ı. Théta vlny 5



Obrázek 2.4: Ukázka delta vln lze naj´ıt i bˇehem meditace. Dále jsou tyto frekvence spojovány s kreativitou a intuic´ı, ale také s denn´ım snˇen´ım, u ´zkost´ı nebo depresemi (viz obrázek 2.5).

Obrázek 2.5: Ukázka théta vln

Alfa Vyskytuje se na frekvenc´ıch mezi 8 a 12Hz. Tuto aktivitu lze nalézt v zadn´ıch ˇcástech hlavy na obou stranách, nicménˇe amplitudy b´ yvaj´ı vˇetˇs´ı v dominantn´ı hemisféˇre mozku1 . Alfa vlny se vyskytuj´ı v bdˇelém stavu pˇri zavˇren´ ych oˇc´ıch a bˇehem relaxace (viz obrázek 2.6).

Obrázek 2.6: Ukázka alfa vln 1

V mozkové k˚ uˇre se nach´ azej´ı s´ıdla vyˇsˇs´ı nervové ˇcinnosti (ˇreˇc, logika...). Dominantn´ı hemisférou mozku naz´ yv´ ame hemisféru, ve které je tˇechto s´ıdel bud’ v´ıce, nebo jsou v´ıce rozvinuté. U prav´ ak˚ u zpravidla lev´ a hemisféra a u levák˚ u pravá.

6



Beta Beta vlny se vyskytuj´ı na frekvenc´ıch 12 - 30 Hz (viz obrázek 2.7). Pˇrevládaj´ı v normáln´ım bdˇelém stavu a jsou známkou logicko-analytického myˇslen´ı. Jelikoˇz beta vlny se nacházej´ı ve velkém rozsahu, jsou dále dˇeleny na: • N´ızká beta (12 - 15 Hz) - Stav relaxovaného soustˇredˇen´ı • Stˇredn´ı beta (15 - 18 Hz) - Stav pohotovosti, nikoliv ale podráˇzdˇenosti • Vysoká beta (nad 18 Hz) - Stav podráˇzdˇenosti a ostraˇzitosti

Obrázek 2.7: Ukázka beta vln

Gama Gama se vyskytuje na frekvenc´ıch vyˇsˇs´ıch neˇz 30 Hz (viz obrázek 2.8). Vyskytuj´ı se ve stavech extrémn´ıho vypˇet´ı, soustˇredˇenosti nebo ve velkém stresu. Pod´ıl´ı se také na ˇr´ızen´ı mozkov´ ych proces˚ u, fungován´ı pamˇeti a podporuje uˇcen´ı.

Obrázek 2.8: Ukázka gama vln

7


2.2.2


Artefakty

Kromˇe v´ yˇse popsan´ ych vln se mohou v záznamu vyskytovat jeˇstˇe dalˇs´ı vlnové tvary, které naz´ yváme artefakty. Základn´ı dˇelen´ı artefakt˚ u je na biologické a technické.

Biologick´ e artefakty Biologické artefakty jsou zapˇr´ıˇcinˇeny pacientem (i ne´ umyslnˇe). Jedná se napˇr´ıklad o mrkán´ı, pohyby oˇc´ı, polykán´ı nebo tˇreba kaˇslán´ı (obrázek 2.9).

Obrázek 2.9: Biologické artefakty zp˚ usobené mrkán´ım pacienta.

Technick´ e artefakty P˚ uvodem technick´ ych artefakt˚ u jsou elektrody, pˇr´ıstroj nebo napˇr´ıklad vnˇejˇs´ı ruˇsen´ı. U elektrod se m˚ uˇze jednat o vadnou elektrodu nebo ˇspatn´ y kontakt s lebkou pacienta. Pˇr´ıstroj m˚ uˇze b´ yt poˇskozen´ y nebo pokud je napájen ze s´ıtˇe, bude se zcela jistˇe objevovat v datech vlnˇen´ı o frekvenci 50 Hz. 8

3 Evokované potenciály Vyˇsetˇren´ı evokovan´ ych potenciál˚ u je nejmladˇs´ı neurofyziologická metoda, která se zaˇcala vyuˇz´ıvat v klinické praxi aˇz v posledn´ıch dvaceti letech. Po druhé svˇetové válce byly zaznamenány r˚ uzné nepravidelnosti v EEG záznamu pˇri r˚ uzn´ ych ˇcinnostech pacient˚ u. Tyto nepravidelnosti vyvolané na základˇe podnˇetu byly nazvány jako evokované potenciály. Jelikoˇz je zde nutné provádˇet pr˚ umˇerován´ı velkého poˇctu epoch, doˇslo k v´ yraznému rozˇs´ıˇren´ı této oblasti aˇz s rozvojem v´ ypoˇcetn´ı techniky, která tyto u ´kony dokázala provádˇet sama. Kapitola ˇcerpá z [3]. Postupem ˇcasu se zaˇcaly vyˇsetˇren´ı standardizovat a dnes se v praxi pouˇz´ıvá nˇekolik druh˚ u vyˇsetˇren´ı: • VEP (visual evoked potentials) - vizuáln´ı evokované potenciály • BAEP (brainstem auditory evoked potentials) - kmenové sluchové evokované potenciály • SEP (somatosensory evoked potentials) - somatosenzorické evokované potenciály • MEP (motor evoked potentials) - motorické evokované potenciály • ERP (endogenous event-related cognitive potentials) - endogenn´ı kognitivn´ı evokované potenciály Jelikoˇz se práce zab´ yvá v´ yhradnˇe aplikac´ı vizuáln´ıch evokovan´ ych potenciál˚ u, bude tato problematika popsána detailnˇeji neˇz ostatn´ı druhy.

3.1

Princip vzniku evokovan´ eho potenci´ alu

Evokovan´ y potenciál je reakce nervové soustavy na stimulaci receptor˚ u. Tato odpovˇed’ m˚ uˇze b´ yt zachycena kdekoliv mezi receptorem a korov´ ym analyzátorem1 . To znaméná, ˇze pˇri stimulaci perifern´ıho nervu m˚ uˇzeme zachytit potenciál na konˇcetinˇe, na r˚ uzn´ ych m´ıstech m´ıchy a nakonec na skalpu. 1

neurony k˚ ury, seskupené do okrsk˚ u, v nichˇz je provádˇena anal´ yza a syntéza informac´ı pˇrich´ azej´ıc´ıch z receptor˚ u

9

Evokované potenciály

Vizuáln´ı evokované potenciály

Evokované potenciály jsou trifázického tvaru, kter´ y má tzv. P-N-P charakter. Znamená to, ˇze isoelektrická linie se nejprve vych´ yl´ı do pozitivn´ı deflexe, za kterou následuje dominantn´ı negativn´ı v´ ychylka a následnˇe dalˇs´ı pozitivn´ı. Tento tvar má evokovaná odpovˇed’ tehdy, pokud registraˇcn´ı elektroda je bl´ıˇze ke generátoru neˇz elektroda referenˇcn´ı.

3.2

Vizu´ aln´ı evokovan´ e potenci´ aly

Zrakov´ y evokovan´ y potenciál vzniká souˇcasnou depolarizac´ı neuron˚ u v optic2 k´ ych oblastech okcipitáln´ıho laloku.

3.2.1

Stimulace zrakov´ e dr´ ahy

Pro stimulaci zrakové dráhy se pouˇz´ıvaj´ı dva základn´ı zp˚ usoby. Prvn´ı z nich je stimulace zábleskem, která se vyuˇz´ıvá u nespolupracuj´ıc´ıch pacient˚ u. Tato metoda spoˇc´ıvá ve zmˇenˇe jasu v zorném poli. Druh´ y zp˚ usob je stimulace pomoc´ı strukturovaného podnˇetu, kter´ y zpravidla obsahuje tmavé a svˇetlé plochy. Jednou moˇznost´ı je stimulace obrazcem, kter´ y se objevuje a miz´ı (obrázek 3.1), ale ˇcastˇeji pouˇz´ıvanou technikou je zámˇena inverzn´ıch vzor˚ u (obrázek 3.2). V tomto pˇr´ıpadˇe z˚ ustává celkov´ y jas stejn´ y a podnˇet vyvolávaj´ı zmˇeny jasu v r˚ uzn´ ych ˇca´stech zorného pole.

Obrázek 3.1: Stimulace obrazem, kter´ y se objevuje a miz´ı 2

t´ yln´ıho

10



Obrázek 3.2: Stimulace inverzn´ım vzorem Technick´ e parametry ovlivˇ nuj´ıc´ı z´ aznam • Velikost stimulaˇcn´ı plochy a prvk˚ u obrazce • Luminance stimulaˇcn´ı plochy • Kontrast mezi prvky • Frekvence stimulace

Velikost stimulaˇ cn´ı plochy a prvk˚ u obrazce je rozhoduj´ıc´ı pro v´ ysledky mˇeˇren´ı. Lze stimulovat celé zorné pole pacienta (tzv. full-field stimulace) nebo polovinu zorného pole (half-field stimulace). Pˇri stimulaci cel´ ym polem by mˇela b´ yt stimulaˇcn´ı plocha vetˇs´ı neˇz 8◦ (viz obrázek 3.3). Se zvˇetˇsován´ım stimulaˇcn´ı plochy se m´ırnˇe zvyˇsuje aplituda vlny P100. Nejˇcastˇeji je pro stimulaci pouˇz´ıván vzor horizontálnˇe nebo vertikálnˇe se stˇr´ıdaj´ıc´ıch pruh˚ u nebo ˇctverce tvoˇr´ıc´ı ˇsachovnici. Velikost ˇctverc˚ u v ˇsachovnici je rozhoduj´ıc´ı faktor. Pˇri zmenˇsován´ı ˇctverc˚ u ˇsachovnice se zmenˇsuj´ı amplitudy a prodluˇzuj´ı latence vln. Pokud se naopak v´ yraznˇe zvˇetˇs´ı ˇctverce, stává se dominantn´ı sloˇzkou stimulace jas a záznam se pˇribliˇzuje tvaru sledovaného pˇri stimulaci zábleskem.

Luminance stimulaˇ cn´ı plochy ovlivˇ nuje záznam tak, ˇze pˇri jej´ım sn´ıˇzen´ı se zmenˇsuj´ı amplitudy a prodluˇzuj´ı latence vln. Sn´ıˇzen´ı pr˚ umˇerné luminance o jednu logaritmickou jednotku zmenˇs´ı amplitudu o 18% a prodlouˇz´ı latenci o 18 ms. [3] 11



Obrázek 3.3: Velikost stimulaˇcn´ı plochy pro full-field stimulaci Kontrast mezi svˇetl´ ymi a tmav´ ymi prvky v´ yraznˇe ovlivˇ nuje záznam. Vyjadˇruje se v procentech a lze ho vypoˇc´ıtat jako C=

Lmax − Lmim · 100 Lmax + Lmin

(3.1)

pˇriˇcemˇz Lmax je luminance svˇetl´ ych prvk˚ u a Lmin luminance tmav´ ych prvk˚ u. Zvyˇsován´ı kontrastu aˇz do pásma saturace (mezi 20-40%) vede ke zvyˇsován´ı amplitud a sniˇzován´ı latence vln. Dalˇs´ı zvyˇsován´ı kontrastu zvyˇsuje amplitudy jen nepatrnˇe. Byla provedena vyˇsetˇren´ı i s jinou barvou neˇz ˇcerná a b´ılá (napˇr. ˇcervenáˇcerná, zelená-ˇcervená), ale záznam byl prakticky stejn´ y. Pˇri pouˇzit´ı r˚ uzn´ ych barev na stimulaci ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u se v´ ysledky liˇs´ı (viz dále).

Frekvece stimulace se urˇcuje jako poˇcet zmˇen stimulaˇcn´ıho obrazce za sekundu a udává se v herz´ıch (Hz). Standardnˇe pouˇz´ıvaná frekvence je 2 Hz, kdy lze vyhodnocovat jednotlivé odpovˇedi na stimuly. Pˇri zvyˇsován´ı frekvence nad 5 Hz zaˇc´ınaj´ı vlny interferovat a vytváˇr´ı tak sinusov´ y pr˚ ubˇeh, kter´ y frekvenˇcnˇe odpov´ıdá stimulaci. Tento typ záznamu se naz´ yva steady-state VEP (SSVEP, ustálené vizuáln´ı evokované potenciály).

Biologick´ e faktory ovlivˇ nuj´ıc´ı z´ aznam • Vˇek 12



• Zraková ostrost • Tˇelesná teplota a pohlav´ı

Vˇ ek pacienta ovlivˇ nuje záznam v´ yraznˇeji, pokud jsou pouˇz´ıvány niˇzˇs´ı luminance a menˇs´ı velikosti ˇctverc˚ u. Asi do 20 let docház´ı ke zkracován´ı latence P100 a naopak po 50. roku se latence zvˇetˇsuje. ˇ ım je menˇs´ı Zrakov´ a ostrost opˇet ovlivˇ nuje latenci a amplitudu vln. C´ zraková ostrost, t´ım jsou aplitudy P100 niˇzˇs´ı a latence delˇs´ı.

Tˇ elesn´ a teplota nemá prokazatelnˇe vliv na VEP, nicménˇe je to jeden z faktor˚ u, kter´ y pravdˇepodobnˇe m˚ uˇze za rozd´ıly mezi záznamem u muˇz˚ u a ˇzen. ˇ Pohlav´ı ovlivˇ nuje jak amplitudu tak latenci vln. Zeny maj´ı pr˚ umˇernˇe niˇzˇs´ı latenci P100. Jako d˚ uvod se uvád´ı vyˇsˇs´ı tˇelesná teplota a menˇs´ı hlava, tud´ıˇz i kratˇs´ı zraková dráha. Aplituda P100 je u ˇzen vyˇsˇs´ı neˇz u muˇz˚ u. Jako d˚ uvod se udávaj´ı hormonáln´ı rozd´ıly.

3.2.2

Ust´ alen´ e vizu´ aln´ı evokovan´ e potenci´ aly

Jak jiˇz bylo ˇreˇceno, ustálené vizuáln´ı evokované potenciály (SSVEP) jsou speciáln´ım pˇr´ıpadem VEP, kdy je s´ıtnice buzena v periodick´ ych cyklech rychle za sebou, tud´ıˇz nejsou evokovány jednotlivé vlny, ale vytváˇr´ı se periodické sinusové vlnˇen´ı o frekvenci stejné, jakou je buzena s´ıtnice.

Stimulace Zp˚ usoby stimulace zrakové dráhy byly popsány v´ yˇse. Jelikoˇz u SSVEP jsou tˇreba vyˇsˇs´ı frekvence pro stimulaci, plyne z toho omezen´ı zejména pro stimulaci pomoc´ı monitoru. U stimulace pomoc´ı monitoru naráˇz´ıme na problém, ˇze vˇetˇsina monitor˚ u má obnovovac´ı frekvenci 60 Hz, takˇze je tu velká limitace, která se t´ yká

13


Sluchové evokované potenciály

maximáln´ı frekvence. Pokud se tedy bude stˇr´ıdat pozad´ı s nˇejak´ ym obrazcem, dosáhneme frekvence maximálnˇe 30 Hz. U stimulace pomoc´ı diody m˚ uˇze b´ yt naopak problém s poˇzadavkem na velikost stimulaˇcn´ı plochy.

Frekvence Frekvence, kter´ ymi je tˇreba pro SSVEP stimulovat se pohybuj´ı mezi 5 Hz a 75 Hz, pˇriˇcemˇz jsou rozdˇeleny do tˇr´ı pásem. N´ızké se uvádˇej´ı v rozmez´ı do 12 Hz, stˇredn´ı od 12 Hz do 30 Hz a vysoké nad 30 Hz. Podle [9] nejvyˇsˇs´ı amplitudy jsou kolem 10 Hz a dále mezi 16 - 18 Hz. Ve vysokém pásmu jsou amplitudy niˇzˇs´ı. Pˇri volbˇe frekvence je tˇreba vyhnout se frekvenc´ım, na kter´ ych má pacient pásmo alfa vln, nebot’ ty se mohou v záznamu objevovat bˇeˇznˇe a mohly by b´ yt zamˇenˇeny s odpovˇed´ı na stimulaci.

Barvy U stimulace klasick´ ych VEP bylo ˇreˇceno, ˇze barva nemá na záznam ˇza´dn´ y vliv. To ale neplat´ı pro SSVEP, nebot’ v [9] se uvád´ı, ˇze barvy maj´ı vliv na ˇ stimulaci pro r˚ uzné frekvence. Cerven´ a barva má silné odezvy kolem 11 Hz, ale v okol´ı se rychle zmenˇsuj´ı. Oproti tomu modrá barva má na 13 Hz slabˇs´ı odezvu neˇz barva ˇcervená, nicménˇe nen´ı tolik závislá na pouˇzité frekvenci. ˇ a barva má opˇet niˇzˇs´ı amplitudu a menˇs´ı závislost na zvolené frekvenci. Zlut´

3.3

Sluchov´ e evokovan´ e potenci´ aly

Sluchové evokované potenciály jsou elektrické odpovˇedi na stimulaci zvukov´ ym podnˇetem. Podle latence je lze rozdˇelit na kmenové sluchové evokované potenciály (BAEP) s latenc´ı do 10 ms, sluchové evokované potenciály se stˇredn´ı latenc´ı 10 - 50 ms od podnˇetu, pomalé korové odpovˇedi (50 - 300 ms) a pozdn´ı korové odpovˇedi s jeˇstˇe vˇetˇs´ı latenc´ı. V praxi se pˇri vyˇsetˇren´ı vyuˇz´ıvaj´ı jen BAEP, ostatn´ı jsou vyuˇz´ıvány pro experimentáln´ı u ´ˇcely.

14


Sluchové evokované potenciály

Pro stimulaci sluchové dráhy se pˇreváˇznˇe pouˇz´ıvá cvaknut´ı. Ménˇe pouˇz´ıvan´ y je tón, kde kromˇe intenzity je tˇreba jeˇstˇe urˇcit frekvenci a délku trván´ı. Pˇri mˇeˇren´ı BAEP se v prvn´ıch 10 ms nacház´ı pˇet aˇz sedm vln, které jsou oznaˇcovány ˇr´ımsk´ ymi ˇc´ıslicemi I - VII (obrázek 3.4). Generátor vlny I je perifern´ı ˇcást sluchového nervu. U ostatn´ıch vln nejsou generátory známé.

Obrázek 3.4: Kmenové sluchové evokované potenciály

3.3.1

Faktory ovlivˇ nuj´ıc´ı z´ aznam

Stejnˇe jako u VEP jsou zde biologické a technické faktory ovlivˇ nuj´ıc´ı záznam. Mezi biologické se zde ˇrad´ı vˇek, teplota a pohlav´ı. Z technick´ ych faktor˚ u záznam ovlivˇ nuje frekvence stimulace a intenzita. Je prokázáno, ˇze dˇeti maj´ı vˇetˇs´ı amplitudy vln pˇri vyˇsetˇren´ı BAEP a odliˇsné pomˇery amplitud I a V v porovnán´ı s dospˇel´ ymi. Velmi malé dˇeti maj´ı vyˇsˇs´ı latence vln a k hodnotám dospˇel´ ych se dostávaj´ı kolem 1. aˇz 2. roku. ˇ Pohlav´ı má vliv na latenci i amplitudy vln. Zeny maj´ı niˇzˇs´ı latenci vln dokonce i po odeˇcten´ı vlivu velikosti hlavy. Zde má i tˇelesná teplota vliv na záznam, jak bylo dokázáno bˇehem operac´ı srdce pˇri umˇelém podchlazen´ı. Pˇri niˇzˇs´ı teplotˇe se prodluˇzuj´ı latence BAEP, a to exponenciálnˇe. Amplitudy vln se zvyˇsuj´ı do 28◦ C a dále pak lineárnˇe klesaj´ı. Pˇri zvyˇsován´ı frekvence stimulace nar˚ ustá latence jednotliv´ ych vln a amplituda se zvˇetˇsuje. Pˇri vyˇsˇs´ıch frekvenc´ıch mohou b´ yt nˇekteré vlny ˇspatnˇe 15


Somatosenzorické evokované potenciály

rozliˇsitelné. Intenzita stimulace má zásadn´ı vliv na BAEP. Pˇri vyˇsˇs´ı intenzitˇe se sniˇzuj´ı latence a zvyˇsuj´ı amplitudy. Vyˇsˇs´ı vliv má zvyˇsován´ı intenzity na vlnu I neˇz na vlnu V.

3.4

Somatosenzorick´ e evokovan´ e potenci´ aly

SEP vznikaj´ı jako reakce na stimulaci pˇr´ısluˇsn´ ych nerv˚ u. Standardnˇe se pouˇz´ıvá stimulace pomoc´ı elektrického stimulu. Intenzita stimulu je u kaˇzdého jedince individuáln´ı, ale je tˇreba, aby doˇslo k podráˇzdˇen´ı nervové dráhy. Zde záleˇz´ı na tom, jak´ y nerv je stimulován. V pˇr´ıpadˇe n. medianus (stˇredov´ y nerv ruky) se za bˇeˇzn´ ych okolnost´ı intenzita stimulu pohybuje okolo 2 - 8 mA. Pokud stimulujeme n. tibialis (holenn´ı nerv), je to obvykle 4 - 8 mA. Obecnˇe intenzita neovlivˇ nuje tvar evokovan´ ych odpovˇed´ı. ˇ ım vˇetˇs´ı Frekvence stimulu na rozd´ıl od intenzity má vliv na záznam. C´ frekvence stimulace, t´ım menˇs´ı amplitudy vln jsou v záznamu. Bˇeˇznˇe pouˇz´ıvané frekvence jsou 3 - 5 Hz pro n. medianus a 1 - 5 Hz pro n. tibilis. Délka vyˇsetˇren´ı pro obˇe konˇcetiny se stimulac´ı bˇeˇznou frekvenc´ı se pohybuje okolo 45 - 60 minut, proto se niˇzˇs´ı frekvence pouˇz´ıvaj´ı jen vyj´ımeˇcnˇe pro experimentáln´ı u ´ˇcely.

3.5

Motorick´ e evokovan´ e potenci´ aly

Tento druh evokovan´ ych potenciál˚ u se v´ yraznˇe liˇs´ı od vˇsech pˇredcházej´ıc´ıch. U pˇredcházej´ıc´ıch prob´ıhalo mˇeˇren´ı tak, ˇze byly stimulovány periferie a záznam byl odeˇc´ıtán na skalpu. U MEP je to pˇresnˇe naopak. Stimuluje se mozek nebo m´ıcha a evokované potenciály se registruj´ı na periferii. Stimulace m˚ uˇze prob´ıhat bud’ invazivnˇe nebo neinvazivnˇe. Mezi neinvazivn´ı metody patˇr´ı magnetická a elektrická stimulace. Invazivn´ı stimulace m´ıchy a mozku je vyuˇz´ıvána bˇehem operac´ı, zejména neurochirurgick´ ych nebo ortopedick´ ych. Mˇeˇren´ı motorick´ ych evokovan´ ych potenciál˚ u m˚ uˇze pˇrispˇet k diagnostice r˚ uzn´ ych neurologick´ ych onemocnˇen´ı. 16


3.6

Endogenn´ı evokované potenciály

Endogenn´ı evokovan´ e potenci´ aly

ERP (event-related potentials) jsou evokované potenciály vázány na událost. Pokud subjekt oˇcekává nˇejak´ y podnˇet, kter´ y pˇrijde, je amplituda vlny vyˇsˇs´ı neˇz u podnˇetu neoˇcekávaného nebo nezaj´ımavého. Nejrozˇs´ıˇrenˇeji pouˇz´ıvan´ y potenciál je vlna P3 (nˇekdy oznaˇcovaná jako P300). Typick´ y pr˚ ubˇeh má charakter N-P-N-P-N, kde lze identifikovat vrcholy N1, P2, N2, dále nejv´ yraznˇejˇs´ı P3 a obˇcas také N4. Pˇri stimulaci vizuáln´ım podnˇetem se jeˇstˇe nav´ıc vyskytuje vlna P1, která je podobná vlnˇe P100 zaznamenávané u VEP. Dále pˇri vizuáln´ı stimulaci je vyˇsˇs´ı latence vlny P3.

3.6.1

Stimulace

Tento druh evokovan´ ych potenciál˚ u lze stimulovat r˚ uzn´ ymi zp˚ usoby. Podnˇety mohou b´ yt vizuáln´ı, sluchové, somatosenzorické nebo i kombinované. U stimulace sluchov´ ym podnˇetem se zpravidla pouˇz´ıvá detekce dvou druh˚ u tónu. Jeden má zpravidla frekvenci 1000 Hz, druh´ y 2000 Hz a jsou prezentovány v náhodném poˇrad´ı v pomˇeru 4:1. Niˇzˇs´ı tón se naz´ yvá maskovac´ı a vyˇsˇs´ı tón je naz´ yván terˇcov´ y. Subjekt je instruován, aby terˇcové podnˇety rozpoznal, pˇr´ıpadnˇe je i poˇc´ıtal. U vizuáln´ı stimulace je pouˇzit stejn´ y postup jako u sluchové. Opˇet je zde maskovac´ı a terˇcov´ y podnˇet. Jejich trván´ı je obvykle 200 ms a objevuj´ı se v pomˇeru 5:1.

17

4 Zpracován´ı EEG dat V této kapitole budou popsány postupy zpracováván´ı EEG signálu, které jsou vyuˇz´ıvány pˇri hledán´ı ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u. [6] Existuje nespoˇcet metod zpracován´ı signálu jako takového a vˇetˇsina z nich má ˇsiroké uplatnˇen´ı i za hranic´ı oblasti EEG. Postupy, které jsou zde popsány, lze vyuˇz´ıt na libovoln´ y signál nebo dokonce pro operace s obrazov´ ymi daty. Prvn´ı podkapitola se zab´ yvá základn´ım zpracován´ım signálu. Z EEG ve své podstatˇe z´ıskáváme spojité signály z kaˇzdé elektrody. Je jasné, ˇze takové signály nelze zpracovávat, nebot’ je tˇreba signál nejprve navzorkovat. Kdyˇz je signál navzorkovan´ y, stále máme oddˇelené kanály a tud´ıˇz pro lepˇs´ı práci s daty je vhodné zvolit nˇejak´ y zp˚ usob pro zpr˚ umˇerován´ı signál˚ u, aby vznikl pouze jedin´ y. Napˇr´ıklad pro zpracován´ı vizuáln´ıch evokovan´ ych potenciál˚ u je vhodné pr˚ umˇerovat pouze hodnoty z elektrod okcipitáln´ıho laloku a ostatn´ı kanály nezapoˇc´ıtávat v˚ ubec (nebo s malou váhou). Dalˇs´ı ˇca´sti této kapitoly se zab´ yvaj´ı samotn´ ym zpracován´ım pˇredpˇripraveného signálu do tvaru, kter´ y jiˇz ˇclovˇeku m˚ uˇze napovˇedˇet, zda mˇeˇren´ı bylo uspˇeˇsné a zda se v datech objevuj´ı hledané frekvence. Jedná se zejména o r˚ uzné druhy Fourierovy transformace. Existuje i mnoho dalˇs´ıch metod zpracován´ı EEG záznamu, které ovˇsem pro dané téma nemaj´ı v´ yznam, proto zde nebudou uvedeny.

4.1

Z´ akladn´ı zpracov´ an´ı sign´ alu

Jak bylo popsáno v´ yˇse, prvn´ım krokem k z´ıskán´ı pouˇzitelného signálu je vzorkován´ı a následné pr˚ umˇerován´ı jednotliv´ ych kanál˚ u.

4.1.1

Vzorkov´ an´ı sign´ alu

Pˇri zpracován´ı poˇc´ıtaˇcem se vˇzdy setkáváme s diskrétn´ımi daty, nebot’ pamˇet’ poˇc´ıtaˇce nen´ı neomezená a ani zpracován´ı neprob´ıha nekoneˇcnˇe rychle. Z tohoto d˚ uvodu je tˇreba z´ıskávan´ y signál, kter´ y je spojit´ y, vzorkovat. Vzorkován´ı je tedy proces, ve kterém je spojit´ y signál transformován na posloup18

Zpracován´ı EEG dat

Základn´ı zpracován´ı signálu

nost diskrétn´ıch vzork˚ u (viz obrázek 4.1). Perioda vzorkován´ı se oznaˇcuje Ts a oznaˇcuje ˇcas mezi jednotliv´ ymi vzorky. Pˇrevrácenou hodnotou periody je vzorkovac´ı frekvence. 1 (4.1) fs = Ts

Obrázek 4.1: Vzorkován´ı analogového signálu Signál je tˇreba vzorkovat s dostateˇcnou vzorkovac´ı frekvenc´ı fs , aby data ztratila co nejménˇe informace. Pˇri vzorkován´ı se ztrátˇe informace nelze vyhnout. V pˇr´ıpadˇe ˇspatnˇe zvolené vzorkovac´ı frekvence m˚ uˇze docházet k aliasingu.

Volba vzorkovac´ı frekvence Pˇri volbˇe vzorkovac´ı frekvence je tˇreba se ˇr´ıdit vzorkovac´ı (Shanonovou) vˇetou, která ˇr´ıká, ˇze pokud je signál x(t) spojit´ y v ˇcase a obsahuje sloˇzky s frekvencemi menˇs´ımi neˇz fmax , pak m˚ uˇze b´ yt rekonstruován z posloupnosti diskrétn´ıch vzork˚ u x(nT ), pokud pro vzorkovac´ı frekvence fs = T1s plat´ı: fs ≥ 2 · fmax Frekvence vence).

fmax 2

(4.2)

se naz´ yvá Nyquistova frekvence (kritická vzorkovac´ı frek-

19


Základn´ı zpracován´ı signálu

Aliasing Pokud vzorkovac´ı frekvence je menˇs´ı neˇz Nyquistova frekvence docház´ı k aliasingu. Znamená to, ˇze v rekonstruovaném signálu se m´ısto p˚ uvodn´ı frekvence objev´ı frekvence jiná, která poruˇs´ı v´ ysledn´ y signál (viz 4.2 vlevo, kde modrá kˇrivka znázorˇ nuje p˚ uvodn´ı signál, ˇcerné teˇcky jsou jednotlivé vzorky a zelená ˇcárkovaná ˇca´ra ukazuje signál po rekonstrukci). Pokud se dodrˇz´ı Shanonova vˇeta, k aliasingu nedocház´ı, jak je vidˇet na obrázku 4.2 vpravo.

Obrázek 4.2: Vlevo pˇr´ıklad ˇspatného vzorkován´ı. Docház´ı ke zkreslen´ı p˚ uvodn´ıho signálu. Vpravo vhodné vzorkován´ı Pouˇz´ıvan´ y pˇr´ıstroj umoˇzn ˇuje záznam vzorkovac´ı frekvenc´ı fs = 1000Hz. Jelikoˇz budeme zkoumat mozkové vlny maximálnˇe o fmax = 50Hz, je tato vzorkovac´ı frekvence v´ıce neˇz dostateˇcná a k aliasingu by nemˇelo docházet.

4.1.2

Zpracov´ an´ı kan´ al˚ u

Jelikoˇz zdrojová data jsou mˇeˇrena nezávisle na nˇekolika elektrodách, je tˇreba z dat vytvoˇrit jeden signál. Pro u ´ˇcely SSVEP se vyuˇz´ıvaj´ı zejména elektrody O1 a O2. Dále lze pouˇz´ıt jeˇstˇe elektrody Pz, P3 a P4, u kter´ ych uˇz nejsou hledané odezvy tolik patrné. Nejprve se kaˇzdému kanálu pˇriˇrad´ı váha, s kterou má b´ yt do v´ ysledného signálu zapoˇc´ıtán. V´ ysledn´ y signál vznikne vypoˇc´ıtán´ım váˇzeného pr˚ umˇeru z tˇechto dat. Oznaˇc´ıme-li tedy signál z kaˇzdé elektrody elk a jednotlivé váhy ak vznikne jednoduch´ y vztah: Pn

el =

ai · eli i=1 ai

i=1

Pn

20

(4.3)


Fourierova tranformace

S takto upraven´ ym signálem lze pracovat daleko pohodlnˇeji. Samozˇrejmˇe jde opˇet o dalˇs´ı ztrátu informace, ale se správnˇe zvolen´ ymi váhami to v dané oblasti nehraje v´ yraznou roli.

4.2


Fourierova transformace slouˇz´ı k pˇrevodu signálu do frekvenˇcn´ı oblasti. Vycház´ı z Fourierov´ ych ˇrad, které umoˇzn ˇuj´ı zapsat libovolnou periodickou funkci pomoc´ı souˇctu goniometrick´ ych funkc´ı. Dle vstupn´ıch dat lze rozdˇelit Fourierovu tranformaci na spojitou a diskrétn´ı. V praxi se pˇri zpracován´ı setkáváme v´ yhradnˇe s diskrétn´ım signálem, jak bylo popsáno v´ yˇse.

4.2.1

Diskr´ etn´ı Fourierova transformace

Diskrétn´ı fourierova transformace (DFT) je diskrétn´ı transformace vyuˇz´ıvaj´ıc´ı Fourierovu anal´ yzu. Jak jiˇz název napov´ıdá, oˇcekává na vstupu diskrétn´ı signál, kter´ y je ˇcasto tvoˇren navzorkovan´ ym spojit´ ym signálem. Vstupn´ı signál mus´ı m´ıt koneˇcn´ y poˇcet vzork˚ u. Pokud tato podm´ınka nen´ı splnˇena, lze pro v´ ypoˇcet pouˇz´ıt pouze ˇca´st signálu, kter´ y uˇz samozˇrejmˇe obsahuje N vzork˚ u. V praxi se zpravidla zpracovává signál v oknˇe o urˇcité délce, které se postupnˇe posouvá. Pro v´ ypoˇcet N-bodové DFT signálu s N vzorky lze pouˇz´ıt následuj´ıc´ı vzorce. XDF T [k] =

N −1 X

x(n)e−j2πnk

/N

; k = 0, 1, ..., N − 1

(4.4)

n=0

XDF T [k] =

N −1 X

x(n)[cos(2πnk /N ) − jsin(2πnk /N )]

(4.5)

n=0

Zpˇetná transformace je dána vztahem: x[n] =

−1 1 NX XDF T [k]ej2πnk N k=0

/N

(4.6)

Jelikoˇz ej2πnk /N je periodická funkce, je periodická i DFT (pˇr´ıpadnˇe IDFT). Z tohoto d˚ uvodu staˇc´ı poˇc´ıtat vzorky pouze pˇres jednu periodu. 21



Symetrie DFT DFT reálného signálu vykazuje komplexnˇe sdruˇzenou symetrii okolo poˇcátku (viz obrázek 4.3) tj.: ∗ XDF T [−k] = XDF (4.7) T [k] Jelikoˇz je DFT periodické, lze napsat: XDF T [−k] = XDF T [N − k]

(4.8)

Pokud tedy spoˇc´ıtáme spektrum ze signálu o N vzorc´ıch, dostaneme spek-

Obrázek 4.3: Symetrie DFT pro lich´ y a sud´ y poˇcet vzork˚ u trum soumˇerné podle stˇredu (N/2). Nen´ı tedy potˇreba poˇc´ıtat DFT pro vˇsech N vzork˚ u, ale staˇc´ı pouze pro N/2 vzork˚ u.

Frekvence v DFT Po v´ ypoˇctu DFT je z´ıskána posloupnost N prvk˚ u, které jsou soumˇerné podle stˇredu. Kaˇzdé z tˇechto ˇc´ısel udává ˇcetnost frekvence v signálu. Je vˇsak tˇreba zjistit, jaká frekvence odpov´ıdá jakému prvku posloupnosti. Frekvenci konkrétn´ıho ˇclenu posloupnosti lze jednoduˇse zjistit, pokud je známá vzorkovac´ı frekvence fs signálu. Máme-li N vzork˚ u signálu a vzorkovac´ı frekvenci fs bude kaˇzd´ y prvek posloupnosti odpov´ıdat frekvenci: f [k] = k ·

fs N

(4.9)

Maximáln´ı frekvence, kterou posloupnost DFT m˚ uˇze obsahovat, je polovina vzorkovac´ı frekvence a nacház´ı se na pozici XDF T [N/2] pro sud´ y poˇcet N. Pro lich´ y je to o prvek bl´ıˇze (viz obrázek 4.3).

22



Jelikoˇz frekvence jsou diskrétn´ı, m˚ uˇze se stát, ˇze signál obsahuje frekvence, které spektrum neobsahuje (napˇr´ıklad frekvence ve spektru jdou po 1 Hz a signál obsahuje frekvenci, která nen´ı celoˇc´ıselná). V takovém pˇr´ıpadˇe docház´ı k tzv. prosakován´ı ve spektru.

Prosakov´ an´ı ve spektru Vyskytuje se tehdy, pokud u vzorkovaného analogového signálu poˇc´ıtáme DFT z N vzork˚ u a v tˇechto vzorc´ıch nen´ı obsaˇzen celoˇc´ıseln´ y poˇcet period sinusoid obsaˇzen´ ych ve v´ ystupn´ım signálu. Znamená to, ˇze se v DFT vyskytnou spektráln´ı ˇcáry i jinde, neˇz ve frekvenci vstupn´ıho signálu (obrázek 4.4).

Obrázek 4.4: Na levém obrázku docház´ı k prosakován´ı ve spektru. V pravém nikoliv

4.2.2

Rychl´ a Fourierova transformace

Hlavn´ım problémem DFT byla sloˇzitost v´ ypoˇctu, kter´ y je O(N 2 ) operac´ı. Rychlá Fourierova transformace (FFT) optimalizuje v´ ypoˇcet na sloˇzitost O(N logN ). S prvn´ım algoritmem FFT pˇriˇsel v roce 1965 J. W. Cooley a John Tukey a jedná se o nejpouˇz´ıvanˇejˇs´ı algoritmus FFT. Základn´ı princip, kter´ y je vyuˇz´ıván pro v´ ypoˇcet FFT je rozklad signálu na liché a sudé vzorky, z kter´ ych je dˇelána transformace zvláˇst’. N-bodová DFT m˚ uˇze b´ yt totiˇz zapsána jako souˇcet dvou N/2 bodov´ ych transformac´ı vytvoˇren´ ych ze sud´ ych a lich´ ych vzork˚ u. 23



Malou cenou za efektivitu algoritmu je nutnost poˇc´ıtat FFT vˇzdy z poˇctu vzork˚ u, kter´ y je roven mocninˇe dvou, na rozd´ıl od DFT, kterou lze vypoˇc´ıtat z libovolného poˇctu vzork˚ u. V pˇr´ıpadˇe, ˇze nemáme správn´ y poˇcet vzork˚ u, lze doplnit signál nulami na nejbliˇzˇs´ı mocninu dvou.

4.2.3

Kr´ atkodob´ a Fourierova transformace

Krátkodobá Fourierova transformace je zachycen´ı frekvenˇcn´ıho spektra v ˇcase. Signál je rozdˇelen na bloky. Pro kaˇzd´ y blok je vypoˇcteno spektrum a vykresleno do tzv. spektrogramu. V´ ysledn´ y spektogram nejv´ıce ovlivˇ nuje délka jednotliv´ ych blok˚ u. Pokud je blok vˇetˇs´ı (v´ıce vzork˚ u pro DFT), je pˇresnˇejˇs´ı urˇcen´ı jednotliv´ ych frekvenc´ı, ale naopak se vytrác´ı informace o ˇcasovém um´ıstˇen´ı dan´ ych frekvenc´ı. Pokud jsou naopak bloky malé, lze pˇresnˇe identifikovat ˇcas, ale frekvenˇcn´ı spektrum bude m´ıt menˇs´ı rozliˇsen´ı. Spektrogram m˚ uˇze b´ yt vykreslován bud’ v 2D zobrazen´ı, kde intenzitu urˇcuje barva (obrázek 4.5 vlevo), nebo ve 3D zobrazen´ı, kde je intenzita vynesena na tˇret´ı osu (obrázek 4.5 vpravo).

Obrázek 4.5: Vlevo ukázka 2D spektrogramu, vpravo 3D spektrogramu

24

5 Klasifikace dat Klasifikace dat a rozpoznáván´ı je ˇsiroce pouˇz´ıváná oblast v mnoha oborech. Jedná se o zaˇrazován´ı objekt˚ u reálného svˇeta do tˇr´ıd. Tyto tˇr´ıdy jsou bud’ pˇredem definovány (klasifikace) nebo se tˇr´ıdy vytváˇrej´ı za bˇehu (rozpoznáván´ı). Aby bylo moˇzné jednotlivé objekty od sebe odliˇsit, je tˇreba zvolit vhodné veliˇciny, které je charakterizuj´ı. V´ ybˇer vhodn´ ych veliˇcin pouˇzit´ ych pro klasifikaci nebo rozpoznáván´ı je u kaˇzdého problému jin´ y, vˇzdy záleˇz´ı na povaze u ´lohy. Základn´ı dˇelen´ı metod pro klasifikaci a rozpoznáván´ı je na pˇr´ıznakové a strukturáln´ı. Pˇr´ıznakové vyuˇz´ıvaj´ı tzv. pˇr´ıznakov´ y vektor, kter´ y je sloˇzen´ y z veliˇcin charakterizuj´ıc´ıch objekt. Pˇr´ıznakové metody tento vektor porovnávaj´ı a na základˇe toho se rozhoduj´ı o zaˇrazen´ı do tˇr´ıdy. Strukturáln´ı metody nejprve nadefinuj´ı mnoˇzinu základn´ıch popisn´ ych element˚ u - primitiv a objekty pomoc´ı nich popisuj´ı. Jelikoˇz pro realizaci této práce nelze vyuˇz´ıt strukturáln´ı metody, budou popsány jen pˇr´ıznakové. V´ıce informac´ı o klasifikaci v [5].

5.1

Pˇ r´ıznakov´ e rozpozn´ av´ an´ı

Prvn´ım krokem pro realizaci pˇr´ıznakového rozpoznáván´ı je vybrat pˇr´ıznaky, charakterizuj´ıc´ı klasifikované objekty. Tyto pˇr´ıznaky se uspoˇra´daj´ı do pˇr´ıznakového vektoru. Na základˇe tohoto pˇr´ıznakového vektoru rozhoduje klasifikátor o pˇr´ısluˇsnosti objektu k tˇr´ıdˇe. Klasifikátor lze nastavit dvˇema zp˚ usoby: • Anal´ yzou problému a definován´ım rozhodovac´ıho pravidla pˇred klasifikac´ı • Sestaven´ım rozhodovac´ıho pravidla s pouˇzit´ım objekt˚ u, jejichˇz správná klasifikace je pˇredem známa. Tomuto zp˚ usobu se ˇr´ıká uˇcen´ı (nebo trénován´ı) klasifikátoru.

25

Klasifikace dat

5.1.1

Pˇr´ıznakové rozpoznáván´ı

Diskriminaˇ cn´ı funkce

Máme pˇr´ıznakov´ y vektor xT = [x1 , x2 , ..., xn ] o n prvc´ıch. Pˇr´ıznakov´ y prostor je n-rozmˇern´ y a oznaˇc´ıme jej Λ. Klasifikace prob´ıhá do R tˇr´ıd a kaˇzdá tˇr´ıda je oznaˇcena identifikátorem w1 , w2 , ..., wR . Funkce w = d(x) je rozhodovac´ım pravidlem, které popisuje toto pˇriˇrazen´ı. Rozhodovac´ı pravidlo vymezuje R disjunktn´ıch podprostor˚ u Λ oznaˇcen´ ych Λ1 , Λ2 , ..., ΛR . Nadplochy, které jsou spoleˇcné dvˇema mnoˇzinám Λi , Λj naz´ yváme rozdˇeluj´ıc´ı nadplochy. Tyto nadplochy naz´ yváme diskriminaˇcn´ı funkce a oznaˇcujeme je gi (x), i = 1, ..., R. Kaˇzdá diskriminaˇcn´ı funkce je pˇriˇrazena jedné z tˇr´ıd. Vektor x zaˇrad´ıme do tˇr´ıdy Λi tehdy, pokud má diskriminaˇcn´ı funkce pˇriˇrazená této tˇr´ıdˇe pro tento vektor x vyˇsˇs´ı hodnotu neˇz diskriminaˇcn´ı funkce vˇsech ostatn´ıch tˇr´ıd. Pokud by vektor leˇzel na rozdˇeluj´ıc´ı nadploˇse, nelze o pˇr´ısluˇsnosti k tˇr´ıdˇe rozhodnout. Pro n = 2 a R = 3 je vidˇet pˇr´ıklad na obrázku 5.1.

5.1.2

Pˇ r´ıznakov´ y vektor

Pˇr´ıznakov´ y vektor je vektor, kter´ y je sloˇzen´ y z jednotliv´ ych pˇr´ıznak˚ u popisuj´ıc´ıch objekt. Tyto pˇr´ıznaky jsou z´ıskány r˚ uzn´ ym zp˚ usobem. Nejjednoduˇsˇs´ı moˇznost je zmˇeˇrit fyzikáln´ı vlastnosti objekt˚ u (napˇr. velikost, hmotnost, tvar...). Tomuto zp˚ usobu se ˇr´ıká selekce pˇr´ıznak˚ u. Druhou moˇznost´ı je tzv. extrakce pˇr´ıznak˚ u, která z´ıskává pˇr´ıznaky z p˚ uvodn´ıch pˇr´ıznak˚ u nˇejakou transformac´ı. V mnoha oblastech se pouˇz´ıvaj´ı napˇr´ıklad Fourierovy koeficienty, které vypov´ıdaj´ı o urˇcit´ ych vlastnostech objektu. Nˇekteré u ´vahy mohou j´ıt smˇerem, ˇze pokud pˇr´ıznakov´ y vektor obsahuje velké mnoˇzstv´ı pˇr´ıznak˚ u, je objekt popsán pˇresnˇeji, tud´ıˇz klasifikace bude prob´ıhat s vyˇsˇs´ı pˇresnost´ı. Tyto u ´vahy naráˇz´ı na dva hlavn´ı problémy. Prvn´ı z problém˚ u je ten, ˇze vyˇsˇs´ı poˇcet pˇr´ıznak˚ u v ˇza´dném pˇr´ıpadˇe nezaruˇcuje vyˇsˇs´ı spolehlivost klasifikace, dokonce v mnoh´ ych pˇr´ıpadech spolehlivost sniˇzuje. Druh´ y problém nastává v rychlosti, kdy vˇetˇs´ı pˇr´ıznakov´ y vektor znamená delˇs´ı ˇcas potˇrebn´ y pro zpracován´ı a nav´ıc samotná extrakce pˇr´ıznak˚ u trvá nepochybnˇe déle. U klasifikace je vˇzdy nejvˇetˇs´ım problémem vybrat správné pˇr´ıznaky, nebot’ pro kaˇzdou u ´lohu mus´ı pˇr´ıznaky vyb´ırat ˇclovˇek na základˇe zkuˇsenost´ı, d˚ ukladné anal´ yzy problému a mnohdy také intuice.

26

Klasifikace dat


Obrázek 5.1: Dvourozmˇern´ y pˇr´ıznakov´ y prostor se tˇremi tˇr´ıdami

27

Klasifikace dat

5.1.3


Klasifik´ atory

Klasifikátor je stroj, kter´ y zobrazuje pˇr´ıznakov´ y vektor na identifikátor tˇr´ıdy. Existuje mnoho typ˚ u klasifikátor˚ u zaloˇzen´ ych na r˚ uzn´ ych principech. Pro naˇsi potˇrebu budou uvedeny jen nejpouˇz´ıvanˇejˇs´ı.

Minim´ aln´ı vzd´ alenost od tˇ eˇ ziˇ stˇ e tˇ r´ıdy Tato metoda klasifikace je jednou z nejjednoduˇsˇs´ıch. Zpravidla je pˇredloˇzena mnoˇzina trénovac´ıch dat, které maj´ı urˇcenou pˇr´ısluˇsnost ke své tˇr´ıdˇe. Z tˇechto dat je vypoˇcteno tˇeˇziˇstˇe tˇr´ıdy tT = [t1 , t2 , ..., tn ], které je reprezentováno bodem v klasifikaˇcn´ım prostoru. Druhou moˇznost´ı je zadat tˇeˇziˇstˇe pˇr´ımo, pokud známe pˇresné hodnoty ideáln´ıho pˇr´ıznakového vektoru pro konkrétn´ı tˇr´ıdu. Pˇri klasifikaci je z´ıskán pˇr´ıznakov´ y vektor objektu a poˇc´ıtaj´ı se vzdálenosti k tˇeˇziˇst´ım vˇsech tˇr´ıd. Zpravidla je pouˇz´ıvaná Euklidovská vzdálenost, ale lze pouˇz´ıt i jiné metriky. v me =

u n uX t (t

i

− xi )2

(5.1)

i=1

Objekt bude zaˇrazen do tˇr´ıdy, jej´ıˇz tˇeˇziˇstˇe je nejbl´ıˇze pˇr´ıznakovému vektoru klasifikovaného objektu (obrázek 5.2).

K-nejbliˇ zˇ s´ıch soused˚ u Metoda k-nejbliˇzˇs´ıch soused˚ u je zobecnˇen´ı v´ yˇse uvedeného zp˚ usobu klasifikace. Spoˇc´ıvá v zaˇrazen´ı objektu do tˇr´ıdy dle k nejbliˇzˇs´ıch objekt˚ u z trénovac´ı ˇ mnoˇziny. Casto pouˇz´ıvaná hodnota je k = 1, kde je objekt zaˇrazen do stejné tˇr´ıdy jako nejbliˇzˇs´ı v´ yskyt prvku z trénovac´ı mnoˇziny. V praxi se pouˇz´ıvaj´ı dalˇs´ı prvoˇc´ısla, ale v´ıce soused˚ u neˇz 13 se bˇeˇznˇe nepouˇz´ıvá. Pro k > 1 se uvaˇzuje k nejbliˇzˇs´ıch soused˚ u a objekt je zaˇrazen do tˇr´ıdy, která má v daném okol´ı nejvyˇsˇs´ı zastoupen´ı. Jak je vidˇet na obrázku 5.3 na volbˇe k závis´ı v´ ysledky klasifikace. V tomto pˇr´ıpadˇe pro k = 1 a k = 5 bude objekt zaˇrazen do tˇr´ıdy ˇcerven´ ych, pro k = 3, k = 7 a k = 11 se zaˇrad´ı k tˇr´ıdˇe zelen´ ych.

28

Klasifikace dat


ˇ Obrázek 5.2: Dvourozmˇern´ y pˇr´ıznakov´ y prostor se tˇremi tˇr´ıdami. Ctverce znázorˇ nuj´ı tˇeˇziˇstˇe tˇr´ıd. Koleˇcko znázorˇ nuj´ıc´ı pˇr´ıznakov´ y vektor objektu je klasifikováno do zelené tˇr´ıdy dle kritéria nejmenˇs´ı vzdálenosti k tˇeˇziˇsti

Obrázek 5.3: Klasifikace pomoc´ı algoritmu k-nejbliˇzˇs´ıch soused˚ u. V´ ysledky klasifikace jsou rozd´ılné pro r˚ uzné hodnoty k 29

Klasifikace dat


Shlukov´ a anal´ yza Shluková anal´ yza je metoda, která slouˇz´ı k nalezen´ı shluk˚ u v mnoˇzinˇe dat obsahuj´ıc´ı neklasifikované pˇr´ıznakové vektory. C´ılem je nalézt shluky tˇechto vektor˚ u, tj. skupiny, jejichˇz prvky jsou si vzájemnˇe bl´ızké.

30

6 Návrh a implementace BCI BCI (brain computer interface) je jeden ze zp˚ usob˚ u, jak komunikovat s poˇc´ıtaˇcem. Základn´ı zp˚ usob komunikace s poˇc´ıtaˇcem je pomoc´ı klávesnice, pozdˇeji se zaˇcalo pracovat na komunikaci v pˇrirozeném jazyce a nejnovˇejˇs´ı zp˚ usob je komunikace pomoc´ı mozku, která zat´ım nemá velké uplatnˇen´ı, ale lze pˇredpokládat velk´ y rozvoj do budoucnosti. Zp˚ usob˚ u, jak´ ymi lze ovládat zaˇr´ızen´ı pomoc´ı mozku, je mnoho a záleˇz´ı jen na autorovi BCI, jak´ y zvol´ı. Samozˇrejmˇe k volbˇe zp˚ usobu ovládán´ı je tˇreba znát základn´ı fyziologii mozku a diagnostické metody - tedy v naˇsem pˇr´ıpadˇe EEG. Tato práce se zab´ yvá vyuˇzit´ım ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u v BCI. Pro vyuˇzit´ı SSVEP v BCI se nab´ız´ı hned nˇekolik moˇzn´ ych vyuˇzit´ı. Jelikoˇz se bude jednat o rozpoznáván´ı nˇekolika frekvenc´ı, které budou prezentovány, prvn´ı vˇec, která ˇclovˇeka napadne, je ˇr´ızen´ı smˇeru. M˚ uˇze se jednat o ˇr´ızen´ı kurzoru myˇsi na obrazovce, ovládán´ı jednoduché hry a nebo ˇr´ızen´ı modelu auta. Pro práci jsem vybral moˇznost ˇr´ızen´ı modelu auta pomoc´ı SSVEP. Jednotlivé moduly BCI byly vˇetˇsinou naimplementovány v javˇe. Jedinou vyj´ımkou je stimulaˇcn´ı scénáˇr, ke kterému byl pouˇzit software Presentation. Tyto moduly jsou pouˇz´ıvané v rámci dvou program˚ u, na kter´ ych bylo provádˇeno testován´ı. Tyto programy obsahuj´ı dalˇs´ı uˇziteˇcné funkce pomáhaj´ıc´ı urˇcit správnou funkcionalitu modul˚ u. Moduly lze jednoduˇse pouˇz´ıt v jiném programu, nebot’ jsou to samostatné tˇr´ıdy, popˇr´ıpadˇe celé bal´ıky.

6.1

Souˇ c´ asti BCI

Ku ´spˇeˇsnému sestaven´ı BCI je tˇreba nˇekolik souˇcást´ı. V prvn´ı ˇradˇe se jedná o zaˇr´ızen´ı pro mˇeˇren´ı EEG, které umoˇzn ˇuje real-time zpracován´ı ve vytvoˇreném programu. Dalˇs´ı souˇcást´ı je poˇc´ıtaˇc, na kterém budou EEG data zpracovávána, a z kterého bude prezentován stimulaˇcn´ı scénáˇr na monitor. Dále je tˇreba m´ıt bezdrátovou webkameru, která bude um´ıstˇena na autˇe a bude pos´ılat obraz cesty pˇred autem. Smˇer auta bude ˇr´ızen pomoc´ı bluetooth zaˇr´ızen´ı na autˇe a to bude ovládat program v poˇc´ıtaˇci pro zpracován´ı EEG dat. Pro lepˇs´ı pˇredstavu je zde obrázek 6.1.

31

Návrh a implementace BCI

Modul pro stimulaci

Obrázek 6.1: Navrˇzené BCI V tomto návrhu se poˇc´ıtá s jedn´ım poˇc´ıtaˇcem a jedn´ım programem, kter´ y bude obstarávat stimulaci i zpracován´ı dat. Druhou moˇznost´ı je udˇelat dva nezávislé programy, z nichˇz jeden bude zajiˇst’ovat stimulaci a zobrazovat obraz z webkamery a druh´ y zpracovávat data a odes´ılat zmˇeny smˇeru j´ızdy.

6.2

Modul pro stimulaci

Modul pro stimulaci by mˇel obsahovat dvˇe základn´ı vˇeci. Jedna z nich je samotná stimulace, druhá zpˇetná vazba, která uˇzivateli zobrazuje aktuáln´ı akci. Modul pro stimulaci nebyl plnˇe implementován. Byla implementována pouze ˇcást, potˇrebná pro testován´ı ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u. Pro naˇse potˇreby postaˇcilo naprogramovat scénáˇr v softwaru Presentation.

Stimulace je základn´ı pˇredpoklad pro správnou funkci BCI. Pro stimulaci mohou b´ yt vyuˇzity r˚ uzné obrazce, které budou dostateˇcnˇe stimulovat zrakovou dráhu uˇzivatele. Um´ıstˇeny by mˇely b´ yt na kraji monitoru, aby se vzájemnˇe co nejménˇe ovlivˇ novaly. Toto um´ıstˇen´ı je vhodné jeˇstˇe z d˚ uvodu, ˇze uˇzivateli snadno napov´ı smˇer. Pokud bude stimul na levé ˇca´sti obrazovky, 32


Modul pro stimulaci

Obrázek 6.2: Návrh obrazovky pro stimulaci bude zajiˇst’ovat pohyb doleva. Na monitor lze um´ıstit vˇetˇs´ı mnoˇzstv´ı stimul˚ u, ale je tˇreba si uvˇedomit, ˇze ˇc´ım v´ıce stimul˚ u bude, t´ım v´ıce se mohou ovlivˇ novat a v´ ysledná klasifikace nemus´ı b´ yt tolik spolehlivá. Pro zaˇcátek je dobrou volbou um´ıstit na kaˇzdou stranu monitoru jeden stimul a ovládán´ı auta nadefinovat tak, ˇze pojede konstantn´ı rychlost´ı a uˇzivatel bude moci pouze zatáˇcet doleva nebo doprava. Pro samotnou stimulaci lze vyuˇz´ıt software Presentation. Tento software umoˇzn ˇuje vytvoˇrit celkem ˇsiroké spektrum scénáˇr˚ u pro stimulaci, ale jeho pouˇzit´ı je limitováno naˇs´ım poˇzadavkem na um´ıstˇen´ı obrazu z webkamery na obrazovku. Z tohoto d˚ uvodu m˚ uˇze b´ yt pouˇz´ıván u ´spˇeˇsnˇe pro testovac´ı u ´ˇcely, ale pro koneˇcnou verzi BCI nen´ı u ´plnˇe vhodn´ y.

Zpˇ etn´ a vazba je d˚ uleˇzitá pro uˇzivatele, aby vˇedˇel, zda se vykonává akce, jakou poˇzaduje. Stejnˇe jako u vˇetˇsiny program˚ u v poˇc´ıtaˇci se ikona po klepnut´ı oznaˇc´ı, i zde je tˇreba dát uˇzivateli najevo, ˇze danou akci provedl nebo provád´ı. V naˇsem návrhu je z tohoto d˚ uvodu um´ıstˇena na auto webkamera a jako zpˇetná vazba slouˇz´ı obraz z kamery. Uˇzivatel tud´ıˇz vid´ı, zda zatáˇc´ı nebo ne. Je vˇsak jeˇstˇe nav´ıc vhodné vyuˇz´ıt nˇejakou dalˇs´ı signalizaci o zatáˇcen´ı, napˇr´ıklad um´ıstˇen´ı ˇsipek na obrazovku a zv´ yraznˇen´ı jedné z nich v pˇr´ıpadˇe zatáˇcen´ı. Stimulaˇcn´ı obrazovka by mˇela vypadat jako na obrázku 6.2.

33


Modul pro stimulaci

Obrázek 6.3: Editor softwaru Presentation

6.2.1

Popis programu Presentation

Presentation je komerˇcn´ı software firmy Neurobehavioral Systems. Tento program umoˇzn ˇuje pomoc´ı dvou vestavˇen´ ych jazyk˚ u PCL a SDL programovat r˚ uzné scénáˇre pro stimulaci, jak vizuáln´ı, tak i sluchovou. Podporovány jsou i nejr˚ uznˇejˇs´ı rozhran´ı pro vstup a v´ ystup. Pro naˇse u ´ˇcely byl pouˇz´ıván paraleln´ı port pro pos´ılán´ı znaˇcek (tzv. marker˚ u) do EEG záznamu. V´ıce informac´ı na [7]. Software presentation obsahuje pˇr´ımo textov´ y editor pro psan´ı kódu jazyk˚ u PCL a SDL (obrázek 6.3). Pokud jsou pouˇz´ıvány nˇejaké vstupn´ı a v´ ystupn´ı porty, je tˇreba provést nastaven´ı v záloˇzce Settings.

Souˇ c´ asti sc´ en´ aˇ re Kaˇzd´ y soubor by se mˇel skládat ze tˇr´ı ˇcást´ı. Prvn´ı z nich je hlaviˇcka, druhá ˇcást je kód jazyka SDL a tˇret´ı kód jazyka PCL.

Hlaviˇ cka je um´ıstˇena na zaˇca´tku souboru a definuje základn´ı vlastnosti jako je velikost p´ısma, fontu nebo i nastaven´ı portu. Pokud se nenastav´ı ˇzádné hodnoty, jsou pouˇzity defaultn´ı. 34


Modul pro stimulaci

K´ od jazyka SDL je dalˇs´ı ˇca´st programu. Nacház´ı se za pˇr´ıkazem begin; a definuj´ı se v n´ı jednotlivé prvky stimulace, coˇz mohou b´ yt napˇr´ıklad obrázky nebo zvuky. Zvláˇstn´ım objektem je tzv. trial, kter´ y v sobˇe sdruˇzuje nˇekolik jednoduch´ ych objekt˚ u. SDL nen´ı klasick´ y programovac´ı jazyk, slouˇz´ı pouze k definici objekt˚ u. Následuj´ıc´ı pˇr´ıklad definuje dva objekty. Prvn´ı objekt je typu picture a je v nˇem nastavena pouze barva pozad´ı na modrou. Druh´ y objekt je typu bitmap, ve kterém je nastavena cesta k obrázku a barva, která má b´ yt pr˚ uhledná. picture { background_color = 0,0,255; } default; bitmap { filename = "pic1.jpg"; transparent_color = 0,0,0; } pic1;

´sekem K´ od jazyka PCL je uvozen pˇr´ıkazem begin pcl;. Nacház´ı se za u definice objekt˚ u jazyka SDL. PCL lze oproti SDL povaˇzovat za jednoduch´ y programovac´ı jazyk. PCL obsahuje základn´ı jazykové konstrukce jako jsou smyˇcky nebo podm´ınky, má nˇekolik datov´ ych typ˚ u a dokonce lze pouˇz´ıvat i pole. Jazyk SDL nadefinuje objekty, které pak jsou v PCL dostupné a lze je vyuˇz´ıvat a mˇenit jim nˇekteré vlastnosti. Následuj´ıc´ı pˇr´ıklad ukazuje definici v SDL a následné pouˇzit´ı v PCL. V SDL je nadefinován obrázek s názvem pic1 a trial s názvem trial1. Presentation automaticky vytvoˇr´ı v PCL promˇenné pic1 a trial1, pomoc´ı nichˇz PCL manipuluje s objekty. V tomto pˇr´ıpadˇe je nastavena x souˇradnice ˇca´sti obrázku a následnˇe je trial prezentován.[1] begin; trial { picture { bitmap map1; x = 0; y = 0; } pic1; } trial1; 35


Modul pro stimulaci

Obrázek 6.4: Rovrˇzen´ı u ´sek˚ u blikán´ı ohraniˇcen´ ych markery begin_pcl; pic1.set_part_x( 1, 100 ); trial1.present();

6.2.2

Poˇ zadavky na sc´ en´ aˇ r

Jelikoˇz má b´ yt scénáˇr vyuˇz´ıván zejména pro testován´ı, je tˇreba, aby bylo moˇzné snadno mˇenit urˇcité parametry. Prvn´ı z nich je frekvence stimul˚ u. Jelikoˇz obrazovka je schopna se pˇrekreslovat 60x za sekundu, nejvyˇsˇs´ı moˇzná frekvence, kterou lze zobrazit, je 30Hz (1 pˇrekreslen´ı obrázek a 1 pˇrekreslen´ı zhasnuto). Pokud chceme zachovat stejnou délku obrázku a pauzy, budou pouˇzitelné frekvence velice omezené. I pˇri tˇechto moˇznostech lze pohodlnˇe vybrat vhodné frekvence. Tvar a barvy stimul˚ u jsou d˚ uleˇzité pro r˚ uzné testy. Nejjednoduˇsˇs´ı zp˚ usob, jak je ve scénáˇri mˇenit, je pˇredpˇripravit bitmapové obrázky, které jsou následnˇe do scénáˇre naˇc´ıtány. Jeden ze základn´ıch poˇzadavk˚ u je m´ıt v´ıce stimul˚ u v jednom scénáˇri. Stimuly mus´ı m´ıt r˚ uzné frekvence a r˚ uzné pozice na obrazovce. Scénáˇr by mˇel umoˇznit definovat u ´seky blikán´ı a pauzy pro odpoˇcinek. Kaˇzd´ yu ´sek by mˇel b´ yt oznaˇcen v záznamu markery, které lze pos´ılat pˇres paraleln´ı port. Markery v záznamu mohou vypadat jako na obrázku 6.4. Moˇzn´ y scénáˇr, kter´ y lze pˇripravit, m˚ uˇze vypadat jako na obrázku 6.5.

36


Modul pro stimulaci

Obrázek 6.5: Moˇzn´ y scénáˇr splˇ nuj´ıc´ı poˇzadavky

6.2.3

Implementace sc´ en´ aˇ re

Stimulaˇcn´ı scénáˇr je pˇrevzat´ y z [1] a byl jen modifikován vˇzdy pro konkrétn´ı experiment. Inspirac´ı pro scénáˇr byl kód z webov´ ych stránek v´ yrobce.

Jazyk SDL Jak jiˇz bylo zm´ınˇeno, je v´ yhodnˇejˇs´ı vytvoˇrit soubor bitmapov´ ych obrázk˚ u neˇz definovat r˚ uzné tvary v kódu SDL. Kaˇzd´ y obrázek pouˇzit´ y pro stimulaci je tˇreba na poˇca´tku naˇc´ıst. V pˇr´ıkazu se definuje cesta k souboru s obrázkem. Naˇcten´ı se provede následovnˇe: bitmap { filename = "obr1\\blue_box.png"; } blueBox; T´ımto zp˚ usobem jsou naˇcteny vˇsechny poˇzadované obrázky. V ˇcásti SDL jsou jeˇstˇe nadefinovány tˇri objekty typu trial. Prvn´ı z nich obsahuje obrázek a je aktualizován pˇri prob´ıhaj´ıc´ı stimulaci z jazyka PCL. Dalˇs´ı z trial˚ u zajiˇstuje pauzu mezi jednotliv´ ymi bloky stimulace. Posledn´ı je v kódu um´ıstˇen pouze z d˚ uvodu logován´ı. Tyto trialy obsahuj´ı objekt stimulus event, kter´ y zajiˇst’uje zápis pˇresn´ ych ˇcas˚ u spuˇstˇen´ı do logovac´ıho souboru. 37


Modul pro stimulaci

V následuj´ıc´ım kódu se nacházej´ı dva trialy. Prvn´ı je spuˇstˇen bezprostˇrednˇe po skonˇcen´ı blikán´ı. Do logovac´ıho souboru zap´ıˇse ˇcas spuˇstˇen´ı. Od tohoto okamˇziku trvá 4999 milisekund. Následnˇe je spuˇstˇen druh´ y z trial˚ u, kter´ y zap´ıˇse do logovac´ıho souboru sv˚ uj ˇcas spuˇstˇen´ı, coˇz je milisekunda pˇred zaˇcátkem blikán´ı (za t´ımto trialem následuje sekvence blikán´ı). trial { stimulus_event { picture { background_color = 0, 0, 0; } pic2; code = "stim2"; duration = 4999; } stim2; } trial2; trial { stimulus_event { picture { background_color = 0, 0, 0; } pic3; code = "stim3"; duration = 1; } stim3; } trial3;

Jazyk PCL Kód jazyka PCL se skládá ze dvou funkc´ı a hlavn´ıho programu. Na poˇcátku je definován paraleln´ı port, za kter´ ym následuj´ı definice pouˇz´ıvan´ ych pol´ı.

Funkce add stim slouˇz´ı k pˇridán´ı nového stimulu na obrazovku. Parametry funkce jsou dva obrázky, pozice x a y, délka trván´ı jednoho z obrázk˚ u a posledn´ı je délka trván´ı obou obrázk˚ u dohromady. Funguje to tak, ˇze se stˇr´ıdaj´ı definované obrázky (jeden z obrázk˚ u má zpravidla barvu pozad´ı). Jeden se zobrazuje vˇzdy nˇekolik cykl˚ u po sobˇe dle zadané hodnoty parametru. Parametr délky trván´ı neoznaˇcuje ˇcas, ale poˇcet, kolikrát za sebou má b´ yt jeden obrázek prezentován.

38


Modul pro stimulaci

Funkce iterate je volána v kaˇzdém pr˚ uchodu smyˇckou. Projde vˇsechny y má b´ yt stimuly pˇridané pomoc´ı funkce add stim a nastav´ı jim obrázek, kter´ prezentován.

Hlavn´ı program nejprve pˇridá do scénáˇre stimuly volán´ım funkce add stim a dále se stará o spouˇstˇen´ı pˇripraven´ ych trial˚ u. Volán´ı funkce iterate ve smyˇcce zajiˇst’uje blikán´ı stimul˚ u dle pˇredchoz´ı definice. add_stim( blueBox, background, -500,0, 10, 5 ); # 6Hz add_stim( blueBox, background, 500,0, 4, 2 ); #15Hz loop int j = 1 until j > 10 begin #hlavn´ ı smyˇ cka, 10 opakov´ an´ ı stim2.set_event_code("konec blikani"); trial2.present(); stim3.set_event_code("zacatek blikani"); trial3.present(); oport.send_code( 1 ); #synchronizaˇ cn´ ı znaˇ cka loop int k~= 1 until k~> 420 begin iterate(); k~= k~+ 1; end; oport.send_code( 2 ); #synchronizaˇ cn´ ı znaˇ cka j = j + 1; end; V pˇr´ıkladu v´ yˇse se nejprve pˇridaj´ı dva stimuly na pozice (-500; 0) a (500; 0). Stimuly maj´ı r˚ uznou frekvenci. U prvn´ıho stimulu je pˇredposledn´ı parametr 10 a posledn´ı 5. Tyto ˇc´ısla udávaj´ı poˇcty iterac´ı pro jednotlivé obrázky. Znamená to, ˇze perioda stimulu bude 10 pˇrekreslen´ı a z toho 5 pˇrekreslen´ı pro jeden z obrázk˚ u. Pokud tedy probˇehne 60 pˇrekreslen´ı za sekundu, blikán´ı bude prob´ıhat s frekvenc´ı 6 Hz. Po pˇridán´ı stimul˚ u se spust´ı smyˇcka, která probˇehne 10x. Uvnitˇr smyˇcky se spust´ı dva trialy, ve kter´ ych z˚ ustane ˇcerná obrazovka, jen se zaloguj´ı ˇcasy. Poté se vyˇsle synchronizaˇcn´ı znaˇcka a spust´ı se smyˇcka s blikán´ım. Smyˇcka prob´ıhá 420x, z ˇcehoˇz pˇri 60 pˇrekreslen´ı za sekundu snadno dopoˇc´ıtáme ˇcas blikán´ı, coˇz dˇelá 7 sekund. Po skonˇcen´ı této smyˇcky se vyˇsle na paraleln´ı port opˇet synchronizaˇcn´ı znaˇcka.

39


6.3

Modul pro naˇc´ıtán´ı dat EEG

Modul pro naˇ c´ıt´ an´ı dat EEG

Pro samotné ˇr´ızen´ı modelu auta je tˇreba zajistit naˇc´ıtán´ı dat pˇr´ımo z pˇr´ıstroje a to v reálném ˇcase. Pouˇz´ıvan´ y software od v´ yrobce EEG zaˇr´ızen´ı umoˇzn ˇuje pos´ılat v reálném ˇcase po s´ıti data, která mohou b´ yt zpracována dalˇs´ım programem. Standardn´ı v´ ystup softwaru BrainVision je soubor v definovaném formátu, kter´ y lze zpracovávat zpˇetnˇe aˇz po ukonˇcen´ı mˇeˇren´ı. Tento typ souboru lze vyuˇz´ıt pro testován´ı stimulátor˚ u a nastaven´ı klasifikátor˚ u. Naˇc´ıtán´ı dat bylo implementováno obˇema zp˚ usoby.

6.3.1

Naˇ c´ıt´ an´ı ze souboru

Jako prvn´ı bylo vytvoˇreno naˇc´ıtán´ı dat ze souboru, nebot’ se jedná o jednoduˇsˇs´ı zp˚ usob. Základ naˇc´ıtán´ı ze souboru vytvoˇril Martin Prantl, jehoˇz kódy byly lehce modifikovány. Naˇc´ıtán´ı umoˇzn ˇuje kromˇe EEG dat naˇc´ıtat i uloˇzené markery, k ˇcemu slouˇz´ı jedna z tˇr´ıd. Tˇr´ıdy se nacházej´ı v bal´ıc´ıch load a data. Sloˇzen´ı jednotliv´ ych bal´ık˚ u je následuj´ıc´ı: • data – Constants – DataFields • load – FileLoading – Load – LoadEEG – LoadVHDR – LoadVMRK – MyException

40



Bal´ık data Bal´ık data obsahuje tˇr´ıdu pro ukládán´ı dat a tˇr´ıdu s konstantami. Obˇe tˇr´ıdy maj´ı jen nˇekolik statick´ ych promˇenn´ ych. Je to z d˚ uvodu viditelnosti tˇechto dat v celém projektu. Pˇredpokládá se, ˇze tyto data budou pouˇz´ıvána v pˇreváˇzné vˇetˇsinˇe tˇr´ıd a pˇredáván´ı by bylo nepohodlné.

Tˇ r´ıda Constants obsahuje konstanty dané formátem naˇc´ıtan´ ych soubor˚ u. Jedná se o r˚ uzné konstanty t´ ykaj´ıc´ı se marker˚ u, jednotliv´ ych kanál˚ u a reprezentaci ˇc´ısel. Tyto konstanty jsou poté pro vˇetˇs´ı pˇrehlednost pouˇz´ıvány pˇri naˇc´ıtán´ı a práci s daty.

Tˇ r´ıda DataFields definuje nˇekolik statick´ ych pol´ı. Do tˇechto pol´ı budou ukládány kromˇe EEG dat i informace o markerech a dalˇs´ı informace o datech. • eegData – dvourozmˇerné pole typu short pro data EEG záznamu. Obsahuje EEG záznam z kaˇzdé elektrody. Z tˇechto dat jsou dále extrahovány pouze poˇzadované kanály. • channelInfos – dvourozmˇerné pole typu Object nesouc´ı informace o jednotliv´ ych kanálech (napˇr. název kanálu) • markerInfos – dvourozmˇerné pole typu Object uchovává informace o markerech a jejich pozic´ıch • transformedData – pole typu double obsahuje EEG data extrahovaná z poˇzadovan´ ych kanál˚ u a pˇripravená na dalˇs´ı zpracován´ı

Bal´ık load Tˇr´ıdy v bal´ıku load se staraj´ı o naˇc´ıtán´ı dat. Jedná se o naˇc´ıtán´ı r˚ uzn´ ych typ˚ u soubor˚ u, které dohromady dávaj´ı kompletn´ı informace o mˇeˇren´ı. Tˇr´ıdy LoadEEG, LoadVMRK a LoadVHDR dˇed´ı od abstraktn´ı tˇr´ıdy FileLoading. Vˇsechny tˇri jsou obsaˇzeny ve tˇr´ıdˇe Load, která se stará o kompletn´ı naˇcten´ı dat. Diagram tˇr´ıd lze vidˇet na obrázku 6.6.

41



Obrázek 6.6: UML diagram tˇr´ıd pro naˇc´ıtán´ı dat ze souboru Tˇ r´ıda FileLoading je abstraktn´ı tˇr´ıda a obsahuje metody pro vytvoˇren´ı datového proudu ze souboru. O naˇc´ıtán´ı konkrétn´ıho typu souboru se staraj´ı oddˇedˇené tˇr´ıdy, které dodefinovávaj´ı abstraktn´ı metody load a allocateMemForData.

Tˇ r´ıdy LoadEEG, LoadVHDR a LoadVMRK zajiˇst’uj´ı naˇc´ıtán´ı jednotliv´ ych typ˚ u soubor˚ u. V´ ystupem EEG zaˇr´ızen´ı je totiˇz trojice soubor˚ u. Soubory typu .vhdr a .vmrk jsou textové a .eeg je soubor binárn´ı. Tyto soubory jsou naˇc´ıtány a ukládány do pˇripraven´ ych pol´ı tˇr´ıdy DataFields.

Tˇ r´ıda Load zastˇreˇsuje pˇredchoz´ı tˇr´ıdy. Umoˇzn ˇuje naˇc´ıtat jen konkrétn´ı soubor, ale v drtivé vˇetˇsinˇe pˇr´ıpad˚ u je tˇreba naˇc´ıst veˇskerá data. K tomuto u ´ˇcelu obsahuje metodu loadAll.

6.3.2

Naˇ c´ıt´ an´ı v re´ aln´ em ˇ case

Naˇc´ıtán´ı dat v reálném ˇcase umoˇzn ˇuje BrainVision Recorder pomoc´ı s´ıt’ové komunikace. Tento zp˚ usob je jiˇz nároˇcnˇejˇs´ı neˇz naˇc´ıtán´ı dat ze souboru. Jelikoˇz je tˇreba naˇc´ıtat data a zároveˇ n je nˇejak´ ym zp˚ usobem zpracovávat, nevyhneme se práci s vlákny. Základn´ı s´ıt’ovou komunikaci se softwarem BrainVision Recorder vytvoˇril Michal Patoˇcka. Kód na niˇzˇs´ı u ´rovni z˚ ustal zachován,

42



Obrázek 6.7: UML diagram tˇr´ıd datov´ ych objekt˚ u pˇrepracovány byly pouze ˇcásti pro ukládán´ı dat. Tyto zmˇeny byly nevyhnutelné kv˚ uli rozd´ılnému zamˇeˇren´ı c´ılového programu. S´ıt’ová komunikace prob´ıhá zp˚ usobem klient-server. Je nadefinováno nˇekolik typ˚ u zpráv. Vˇsechny tyto zprávy obaluj´ı tˇr´ıdy z bal´ıku data.objects. K naplnˇen´ı tˇechto datov´ ych objekt˚ u slouˇz´ı tˇr´ıda DataTokenizer z bal´ıku data. Pro komunikaci na niˇzˇs´ı u ´rovni vyuˇz´ıvá DataTokenizer tˇr´ıdu TCPIPClient, která poskytuje pˇrijatá data od serveru.

Bal´ık data.objects Bal´ık obsahuje nˇekolik tˇr´ıd, reprezentuj´ıc´ı jednotlivé typy zpráv, které server pos´ılá. Diagram tˇr´ıd na obrázku 6.7. uleˇzit´ ych in• RDA Marker – reprezentuje marker. Obsahuje nˇekolik d˚ formac´ı jako je název markeru, k jaké elektrodˇe patˇr´ı a jaká je jeho pozice. • RDA MessageData – tˇr´ıda, která kromˇe samotn´ ych dat m˚ uˇze obsahovat jeden i v´ıce marker˚ u. • RDA MessageHeader – hlaviˇcka kaˇzdého datového objektu je oznaˇcena unikátn´ı posloupnost´ı byt˚ u. Tuto hlaviˇcku obsahuj´ı vˇsechny ostatn´ı datové objekty kromˇe RDA Marker. Nese informaci o velikosti následuj´ıc´ıho datového bloku. • RDA MessageStart – objekt pos´ılan´ y zpravidla na poˇcátku s´ıt’ové komunikace. Jsou v nˇem informace o vzorkovac´ı frekvenci a seznam jed43



Obrázek 6.8: UML diagram tˇr´ıd datov´ ych objekt˚ u notliv´ ych kanál˚ u s jejich jmény. • RDA MessageStop – objekt zas´ılan´ y serverem na konci komunikace. Jelikoˇz se poˇc´ıtá s pevnˇe zaveden´ ym nastaven´ım, které se nemˇen´ı, je bezpochyby nejd˚ uleˇzitˇejˇs´ı z datov´ ych objekt˚ u RDA MessageData. Dále lze situaci zjednoduˇsit t´ım, ˇze pˇri pouˇzit´ı v navrˇzeném BCI nemaj´ı markery v´ yznam, tud´ıˇz zpracovávat má smysl pouze pole s EEG daty.

Bal´ık data Bal´ık data obsahuje ˇctyˇri tˇr´ıdy. Jejich diagram je na obrázku 6.8.

Tˇ r´ıda TCPIPClient slouˇz´ı pro základn´ı komunikaci se serverem. Naváˇze spojen´ı se serverem a pˇrij´ımá data po bytech. Tyto data ukládá do tˇr´ıdy SynchronizedLinkedListByte. Aby byla zajiˇstˇena správná funkcionalita, bˇeˇz´ı klient ve vláknˇe. Z tohoto d˚ uvodu je tˇreba m´ıt zajiˇstˇenou synchronizaci pˇri pˇr´ıstupu k datovému u ´loˇzˇsti.

Tˇ r´ıda DataTokenizer vyb´ırá data uloˇzená tˇr´ıdou TCPIPClient a vytváˇr´ı z nich datové objekty. Tyto objekty jsou následnˇe ukládány do synchronizovaného spojového seznamu typu Object, reprezentovaného tˇr´ıdou SynchronizedLinkedListObject. Opˇet je tˇreba m´ıt zajiˇstˇenou synchornizaci, nebot’ DataTokenizer bˇeˇz´ı ve vláknu. 44


6.4

Modul pro zpracován´ı dat

Modul pro zpracov´ an´ı dat

Po naˇcten´ı je tˇreba data uloˇzit do vhodné struktury, provést transformaci jednotliv´ ych kanál˚ u a následnˇe z nich extrahovat uˇziteˇcné pˇr´ıznaky. V naˇsem pˇr´ıpadˇe se jedná o frekvence mozkov´ ych vln v závislosti na frekvenci stimulace. Pro zjiˇstˇen´ı frekvenˇcn´ıho spektra je tˇreba vyuˇz´ıt Fourierovu transformaci a vybrat vhodné Fourierovy koeficienty odpov´ıdaj´ıc´ı pouˇzit´ ym frekvenc´ım (pˇr´ıpadnˇe jejich nejbliˇzˇs´ıho okol´ı).

6.4.1

Uloˇ zen´ı dat

DataTokenizer zajistil uloˇzen´ı vˇsech pˇr´ıchoz´ıch blok˚ u do spojového seznamu. Pro pouˇzit´ı v BCI je tˇreba vybrat ze vˇsech datov´ ych objekt˚ u pouze typy RDA MessageData a uloˇzit je do sktruktury, která bude pro naˇsi potˇrebu ideáln´ı.

Kruhov´ y buffer byl zvolen jako optimáln´ı zp˚ usob ukládán´ı dat. Kruhov´ y buffer je pole o pevnˇe dané velikosti, které po svém naplnˇen´ı zaˇcne pˇrepisovat od zaˇcátku svá data. Tato vlastnost sice znamená ztrátu dat, ale jsou to zpravidla data, která nejsou aktuáln´ı. Pokud se tedy poˇc´ıtaˇc pˇri v´ ypoˇctech zdrˇz´ı, dalˇs´ı pr˚ ubˇeh se bude poˇc´ıtat z dat, která jsou nejnovˇejˇs´ı. Kdyby byl pouˇzit standardn´ı buffer, zpracovávala by se neaktuáln´ı data a zpoˇzdˇen´ı by dále nar˚ ustalo. Kruhov´ y buffer je implementován ve tˇr´ıdˇe KruhovyBuffer.

6.4.2

Transformace kan´ al˚ u

Pˇr´ıchoz´ı datové objekty obsahuj´ı hodnoty ze vˇsech elektrod. Jelikoˇz nás zaj´ımaj´ı jen urˇcité elektrody, je tˇreba z dat vybrat pouze data z konkrétn´ıch elektrod a sm´ıchat je dle d˚ uleˇzitosti do jednoho signálu. V tˇr´ıdˇe Buffer se nacház´ı metoda vyberElektrod, která ze zadaného pole z objektu RDA MessageData vytvoˇr´ı nové pole, které bude obsahovat pouze poˇzadovaná data. Tyto data jsou ukládána do kruhového bufferu, kter´ y tato tˇr´ıda obsahuje (obrázek 6.9). private double[] vyberElektrod(float[] pole, int o1, int o2, 45


Modul pro zpracován´ı dat

Obrázek 6.9: UML diagram bufferu int pz, int p3, int p4) { double[] temp = new double[POCET_HODNOT]; for (int i = 0; i < temp.length; i++) { temp[i] = (o1 * pole[O1 + 19 * i] + o2 * pole[O2 + 19 * i] + pz * pole[PZ + 19 * i] + p3 * pole[P3 + 19 * i] + p4 * pole[P4 + 19 * i]) / (o1 + o2 + p3 + p4 + pz); } return temp; } Metoda poˇzaduje nˇekolik argument˚ u. Prvn´ım argumentem je pole s p˚ uvodn´ımi daty. Dalˇs´ı argumenty jsou ˇc´ısla oznaˇcuj´ıc´ı váhu, s kterou maj´ı b´ yt zapoˇc´ıtána do v´ ysledného pole. Pomoc´ı tˇechto vah je poˇc´ıtán váˇzen´ y pr˚ umˇer. Jsou zde brány v u ´vahu pouze elektrody, které maj´ı pro SSVEP v´ yznam. S ostatn´ımi elektrodami se nepoˇc´ıtá. Zpravidla se nastavuje vyˇsˇs´ı váha pro elektrody O1 a O2.

6.4.3

DFT a FFT

Rychlá a diskrétn´ı Fourierova transformace je pouˇz´ıvána pro z´ıskán´ı pˇr´ıznak˚ u pro klasifikaci. Rychlá Fourierova tranformace byla pˇrevzata od Nizara Kerkeniho z open-source projektu jEDF a nacház´ı se ve tˇr´ıdˇe FastFourierTransform. Jelikoˇz vzorkovac´ı frekvence pˇr´ıstroje je 1000 Hz a pro FFT je tˇreba 46


Modul pro klasifikaci

poˇcet vzork˚ u, kter´ y je roven mocninˇe dvou, nikdy nebudou v´ ysledné ˇcleny posloupnosti odpov´ıdat celoˇc´ıseln´ ym frekvenc´ım a docházelo by k prosakován´ı ve spektru. Z tohoto d˚ uvodu byla naimplementována i DFT, kterou lze spoˇc´ıtat z libovolného poˇctu vzork˚ u a tud´ıˇz lze ovlivnit, jak´ ym frekvenc´ım budou spektráln´ı ˇca´ry odpov´ıdat. Nev´ yhodou je samozˇrejmˇe rychlost DFT, ale v naˇsem pˇr´ıpadˇe je dostaˇcuj´ıc´ı. Diskrétn´ı Fourierova transformace se nacház´ı ve tˇr´ıdˇe DFT.

6.5


Z charakteru dat je jasnˇe patrné, ˇze klasifikátor bude vytvoˇren na základˇe pˇr´ıznakové metody. Pˇr´ıznakov´ y vektor se bude skládat z hodnot urˇcen´ ych Fourierov´ ych koeficient˚ u, pˇr´ıpadnˇe jejich druh´ ych mocnin. Pokud tedy budou urˇceny dvˇe frekvence, bude prob´ıhat klasifikace do tˇr´ı tˇr´ıd a klasifikaˇcn´ı prostor bude dvourozmˇern´ y. Moˇznost´ı pro klasifikaci je nˇekolik. Nejjednoduˇsˇs´ı metoda je nastavit ruˇcnˇe prahovou hodnotu, po jej´ıˇz pˇrekroˇcen´ı bude vektor klasifikován jako jedna ˇci druhá frekvence. Pokud prahovou hodnotu nepˇrekroˇc´ı, nebude urˇcena ˇza´dná frekvence. Tento zp˚ usob má nev´ yhodu, ˇze u kaˇzdého ˇclovˇeka se liˇs´ı amplitudy vln a tud´ıˇz nelze urˇcit prahovou hodnotu obecnˇe. Tento problém m˚ uˇze ˇreˇsit metoda nejkratˇs´ı vzdálenosti od tˇeˇziˇstˇe. Subjekt bude instruován, aby se zamˇeˇril na jednu frekvenci. Následnˇe se poˇr´ıd´ı mnoˇzina trénovac´ıch dat. Stejnˇe tak se to udˇelá pro druhou frekvenci a pak i pro tˇr´ıdu reprezentuj´ıc´ı stav, kdy se subjekt nesoustˇred´ı na ˇzádnou z frekvenc´ı. Sloˇzitˇejˇs´ı zp˚ usoby klasifikace v tomto pˇr´ıpadˇe nemaj´ı v´ yznam, nebot’ je jasné, ˇze klasifikaˇcn´ı prostor bude rozdˇelen velice jednoduˇse, coˇz vycház´ı ze zcela pr˚ uhledného sloˇzen´ı pˇr´ıznak˚ u.

6.5.1

Implementace klasifik´ atoru

Veˇskeré tˇr´ıdy pro klasifikaci se nacház´ı v bal´ıku classification. Jedná se o tˇri tˇr´ıdy, které pˇredpokládaj´ı real-time naˇc´ıtán´ı dat do bufferu popsaného v´ yˇse. Implementovaná metoda klasifikace se ˇr´ıd´ı kritériem nejmenˇs´ı vzdálenosti

47



Obrázek 6.10: Diagram tˇr´ıd klasifikace tˇeˇziˇst’ tˇr´ıd. Tˇr´ıda VectorCreator se stará o vytvoˇren´ı tˇeˇziˇstˇe tˇr´ıdy z trénovac´ıch dat. Ve tˇr´ıdˇe Klasifikator jsou uloˇzeny jednotlivé tˇr´ıdy s jejich vektory reprezentuj´ıc´ımi tˇeˇziˇstˇe. Tato tˇr´ıda se dále stará o spouˇstˇen´ı trénován´ı a spuˇstˇen´ı samotné klasifikace. Posledn´ı tˇr´ıda NNKlasifikator má za u ´kol samotnou klasifikaci konkrétn´ıho vektoru do nadefinovan´ ych tˇr´ıd. Diagram tˇr´ıd je na obrázku 6.10.

Pˇ r´ıznakov´ y vektor Pˇr´ıznakov´ y vektor se skládá z Fourierov´ ych koeficient˚ u. Jelikoˇz klasifikátor je udˇelán obecnˇe pro libovoln´ y poˇcet tˇr´ıd, je zpracováván cel´ y v´ ystup Fourierovy transformace a pˇr´ıznakov´ y vektor je vyb´ırán aˇz pˇri samotné klasifikaci ve tˇr´ıdˇe NNKlasifikator. Je moˇzné ponechat jako pˇr´ıznakov´ y vektor cel´ y v´ ystup Fourierovy transformace. Na tento zp˚ usob se váˇze velké mnoˇzstv´ı chyb, které jsou zapˇr´ıˇcinˇeny náhodnou mozkovou aktivitou na frekvenc´ıch nesouvisej´ıc´ıch se stimulac´ı. Nejspolehlivˇejˇs´ı zp˚ usob je pouˇz´ıt jako pˇr´ıznaky frekvence, kter´ ymi se stimuluje. Jelikoˇz m˚ uˇze docházet k nepˇresnostem, je vhodné jeˇstˇe zapoˇc´ıtávat i koeficienty okolo s niˇzˇs´ı váhou.

Tˇ r´ıda VectorCreator Tato tˇr´ıda má za u ´kol z pˇr´ıchoz´ıch dat vytvoˇrit tˇeˇziˇstˇe. Zpravidla se jedná o data z´ıskávaná za u ´ˇcelem natrénován´ı konkrétn´ı tˇr´ıdy pro klasifikaci. V´ ypoˇcet tˇeˇziˇstˇe m˚ uˇze prob´ıhat libovolnou dobu v závislosti na tom, kolik dat je zapotˇreb´ı. Algoritmus stále dokola dˇelá nˇekolik u ´kon˚ u, které po skonˇcen´ı 48



zpr˚ umˇeruje. 1. Naˇcten´ı nejnovˇejˇs´ıch n vzork˚ u 2. V´ ypoˇcet DFT 3. Normalizace jednotliv´ ych koeficient˚ u DFT vzhledem k celkovému souˇctu koeficient˚ u DFT 4. Souˇcet normalizovan´ ych DFT Po ukonˇcen´ı je následnˇe souˇcet vˇsech normalizovan´ ych DFT vydˇelen poˇctem iterac´ı. V kódu to m˚ uˇze vypadat následovnˇe: double[] teziste; while (running) { double[] ft = vypocetDFT(nejnovejsiData); //v´ ypoˇ cet DFT double suma = 0; for (int i = 0; i < teziste.length; i++) { suma += ft[i]; //celkov´ y souˇ cet koef. } for (int i = 0; i < teziste.length; i++) { teziste[i] += ft[i] / suma; //normalizace a souˇ cet } counter++; } for (int i = 0; i < vektor.length; i++) { teziste[i] = teziste[i] / counter; //zpr˚ umˇ erov´ an´ ı } Z d˚ uvodu velkého poˇctu vektor˚ u se ukládá jen jejich pr˚ umˇer, reprezentuj´ıc´ı tˇeˇziˇstˇe. Pro klasifikaci dle kritéria nejbliˇzˇs´ı vzdálenosti k tˇeˇziˇsti tˇr´ıdy je to dostaˇcuj´ıc´ı, avˇsak znemoˇzn ˇuje to vyuˇz´ıt jiné metody klasifikace napˇr. klasifikaci dle k nejbliˇzˇs´ıch soused˚ u.

Tˇ r´ıda NNKlasifikator Tato tˇr´ıda zajiˇst’uje klasifikaci aktuáln´ıch dat do tˇr´ıd, které jsou jiˇz natrénovány. V konstruktoru je pˇredána HashMapa, obsahuj´ıc´ı stimulaˇcn´ı frekvenci 49


Modul pro výbˇer vhodné stimulaˇcn´ı frekvence

jako kl´ıˇc a bod v klasifikaˇcn´ım prostoru reprezentuj´ıc´ı tˇeˇziˇstˇe dané tˇr´ıdy, kter´ y je polem reáln´ ych ˇc´ısel. Tˇr´ıda je opˇet navrˇzena pro real-time zpracován´ı, proto je oddˇedˇena od tˇr´ıdy Thread. V metodˇe run cyklicky prob´ıhá klasifikace, která obsahuje nˇekolik krok˚ u: 1. Naˇcten´ı aktuáln´ıch dat z bufferu 2. Fourierova transformace a extrakce pˇr´ıznak˚ u 3. V´ ypoˇcet euklidovsk´ ych vzdálenost´ı vektoru ke vˇsem tˇeˇziˇst´ım tˇr´ıd 4. V´ ybˇer nejmenˇs´ı vzdálenosti a zaˇrazen´ı do pˇr´ısluˇsné tˇr´ıdy

Tˇ r´ıda Klasifikator Klasifikator ˇr´ıd´ı proces trénován´ı klasifikátoru a samotné klasifikace. Obsahuje HashMapu, která ukládá tˇeˇziˇstˇe tˇr´ıd a informace o tom, jaké frekvenci náleˇz´ı. Obsahuje metody pro zaˇcátek a konec trénován´ı a také metody pro zaˇcátek a konec klasifikace.

6.6

Modul pro v´ ybˇ er vhodn´ e stimulaˇ cn´ı frekvence

V ˇcásti zab´ yvaj´ıc´ı se ustálen´ ymi vizuáln´ımi evokovan´ ymi potenciály bylo ˇreˇceno, ˇze amplitudy vln závis´ı na frekvenci stimulace. Aˇckoliv pokusy ukazuj´ı konkrétn´ı frekvence, na které ˇclovˇek reaguje lépe nebo jaké jsou vhodnˇejˇs´ı pro mˇeˇren´ı SSVEP, je zcela nepochybné, ˇze na kaˇzdého ˇclovˇeka p˚ usob´ı optimálnˇe jiné frekvence. Z tohoto d˚ uvodu m˚ uˇze b´ yt souˇcást´ı BCI také modul zajiˇst’uj´ıc´ı v´ ybˇer optimáln´ıch frekvenc´ı. Na rozd´ıl od pˇredchoz´ıch ˇca´st´ı byl tento modul navrˇzen pro zpracován´ı z namˇeˇreného záznamu, nikoliv real-time. Princip z´ıskán´ı nejvhodnˇejˇs´ıch frekvenc´ı je následuj´ıc´ı. Uˇzivateli jsou postupnˇe prezentovány podnˇety s r˚ uznou frekvenc´ı (napˇr. od 1 Hz do 20 Hz po 1 Hz). Pro kaˇzdou frekvenci mus´ı b´ yt záznam dostateˇcnˇe dlouh´ y pro zpracován´ı a kaˇzdá frekvence mus´ı b´ yt

50


Modul ovládán´ı modelu auta

ohraniˇcena markery s identifikátorem frekvence. Ze záznamu se poté pomoc´ı algoritmu z´ıskaj´ı frekvence, u kter´ ych mˇely SSVEPy nejvyˇsˇs´ı amplity.

6.6.1

Algoritmus v´ ybˇ eru frekvenc´ı

Pˇredpokládejme, ˇze jsou data uloˇzená ve správném formátu, obsahuj´ı markery, které ohraniˇcuj´ı vˇzdy dostateˇcnˇe velk´ yu ´sek dat. Nejprve je záznam rozsegmentován podle marker˚ u a je vypoˇc´ıtán práh pro kaˇzdou frekvenci. Následnˇe se vezme u ´sek dat, kde osoba nebyla stimulovaná a urˇc´ı se opˇet práh pro kaˇzdou frekvenci. Dále se spoˇc´ıtá pro kaˇzdou frekvenci pod´ıl prahu se stimulac´ı a prahu bez, coˇz vypov´ıdá o velikosti odezvy na stimulaci v˚ uˇci klidovému stavu. Pokud máme pro kaˇzdou frekvenci urˇcen´ y tento pomˇer, lze vybrat nejvyˇsˇs´ı hodnotu, která odpov´ıdá nejlépe rozpoznatelné frekvenci. Pokud je tˇreba zvolit v´ıce frekvenc´ı, je vhodné, aby nebyly harmonické. Vybere se tedy frekvence s nejvyˇsˇs´ı odezvou a vyˇskrtne se poloviˇcn´ı a dvojnásobná frekvence. Ze zbyl´ ych frekvenc´ı se opˇet vyb´ırá frekvence s nejvyˇsˇs´ım pomˇerem. Cel´ y algoritmus v´ ybˇeru frekvenc´ı lze vidˇet na obrázku 6.11.

6.7

Modul ovl´ ad´ an´ı modelu auta

Po zpracován´ı dat klasifikátor urˇc´ı, do jaké tˇr´ıdy jsou aktuáln´ı data zaˇrazována. Pokud jsou tedy tˇri tˇr´ıdy (jedna urˇcuje smˇer vlevo, druhá smˇer vpravo a tˇret´ı smˇer rovnˇe), lze vyslat aut´ıˇcku pomoc´ı bezdrátového zaˇr´ızen´ı pokyn pro urˇcité chován´ı. Pˇredpokládá se, ˇze model auta jede rovnˇe konstantn´ı rychlost´ı a odes´ılány jsou pouze pokyny o zatáˇcen´ı vlevo a vpravo, na které reaguje odpov´ıdaj´ıc´ım zp˚ usobem. Implementace tohoto modulu nen´ı souˇca´st´ı práce.

6.8

Demonstraˇ cn´ı programy

Pro ovˇeˇren´ı fukˇcnosti jednotliv´ ych modul˚ u byly vytvoˇreny dva programy. Nejedná se pˇr´ımo o souˇca´st BCI, ale pro bezchybnou implementaci modul˚ u 51


Demonstraˇcn´ı programy

Obrázek 6.11: Schéma algoritmu pro v´ ybˇer vhodné stimulaˇcn´ı frekvence

52



Obrázek 6.12: Um´ıstˇen´ı marker˚ u v záznamu bylo zapotˇreb´ı vytvoˇrit tyto programy z d˚ uvodu testován´ı. Jeden z program˚ u umoˇzn ˇuje naˇc´ıtán´ı dat ze souboru a druh´ y je navrˇzen pro real-time komunikaci.

6.8.1

Program pro naˇ c´ıt´ an´ı dat ze souboru

V tomto programu bylo naimplementováno nˇekolik funkc´ı. Jedná se o naˇcten´ı dat ze souboru, dále v naˇcten´ ych datech umoˇzn ˇuje naj´ıt nejv´ yraznˇejˇs´ı frekvence. Z dat lze také natrénovat klasifikátor a následnˇe klasifikovat do tˇr´ı tˇr´ıd. Vizuálnˇe program zobrazuje ˇcasovou osu záznamu, frekvenˇcn´ı spektrum a po trénován´ı zobraz´ı klasifikaˇcn´ı prostor s jednotliv´ ymi tˇr´ıdami, z ˇcehoˇz lze pˇredpokládat následnou u ´spˇeˇsnost klasifikace. Pro objektivn´ı testován´ı byla pˇridána jeˇstˇe tˇr´ıda pro v´ ypoˇcty u ´spˇeˇsnosti klasifikace.

Form´ at a naˇ cten´ı vstupn´ıch dat Program na vstupu oˇcekává data s pˇresnˇe definovan´ ymi markery. Kaˇzd´ yu ´sek se stimulac´ı mus´ı b´ yt oznaˇcen markery s identifikátorem charakterizuj´ıc´ım frekvenci (obrázek 6.12). Markery jsou totiˇz jedin´ y prostˇredek, kter´ y program má k rozliˇsen´ı typu dat. Pro naˇcten´ı dat je tˇreba zmáˇcknou tlaˇc´ıtko Otevrit. Následnˇe se otevˇre dialogové okno pro v´ ybˇer souboru. Po otevˇren´ı se naˇcte základn´ı rozhran´ı sloˇzené z nˇekolika ˇca´st´ı (obrázek 6.13). 1. Ovládac´ı prvky programu

53



Obrázek 6.13: Základn´ı rozhran´ı programu 2. Zobrazen´ı frekvenˇcn´ıho spektra ze zvolené oblasti 3. Panel zobrazuj´ıc´ı informace o stavu programu a v´ ysledc´ıch klasifikace ˇ 4. Casov´ a osa 5. Markery na ˇcasové ose oznaˇcuj´ıc´ı u ´sek stimulace 6. Aktuáln´ı rozsah dat, ze kter´ ych se vypoˇc´ıtává frekvenˇcn´ı spektrum

Hled´ an´ı optim´ aln´ıch frekvenc´ı Pokud je naˇcten´ y záznam, ve kterém se nacház´ı vˇetˇs´ı mnoˇzstv´ı u ´sek˚ u dat s r˚ uznou stimulaˇcn´ı frekvenc´ı, lze vybrat frekvenci, která mˇela nejvyˇsˇs´ı odezvu. Po zmáˇcknut´ı tlaˇc´ıtka Najit frekvence se zobraz´ı dialogové okno, které se ptá, kolik frekvenc´ı je tˇreba vybrat. Po potvrzen´ı m˚ uˇze v´ ypoˇcet chvilku trvat. Následnˇe jsou vybrané frekvence vypsány v pravém panelu.

54



Obrázek 6.14: Klasifikaˇcn´ı prostor s tˇremi tˇr´ıdami Tr´ enov´ an´ı dat Jsou-li naˇctena trénovac´ı data, lze z nich natrénovat klasifikátor pomoc´ı tlaˇc´ıtka Naucit z nactenych dat. Po zmáˇcknut´ı tlaˇc´ıtka je uˇzivatel dotázán, které frekvence se budou hledat. Tento klasifikátor byl navrˇzen pouze pro dvˇe frekvence. Pˇrednastaveny jsou hodnoty 6 Hz a 15 Hz, coˇz jsou hodnoty, s kter´ ymi byla provádˇena vˇetˇsina experiment˚ u. Kdyˇz probˇehne u ´spˇeˇsné natrénován´ı klasifikátoru, jsou zobrazeny dvˇe okna zobrazuj´ıc´ı klasifikaˇcn´ı prostor, jednotlivé v´ yskyty a tˇeˇziˇstˇe. Jedno z oken vynáˇs´ı na osy jako pˇr´ıznaky hledané frekvence a druhé jejich prvn´ı harmonické frekvence. Jedna z tˇr´ıd je zpravidla podél jedné osy, druhá podél druhé osy a tˇret´ı tˇr´ıda reprezentuj´ıc´ı data bez stimulace je pobl´ıˇz poˇcátku (obrázek 6.14).

Klasifikace Klasifikaci je moˇzno provádˇet na libovoln´ ych datech, pokud je klasifikátor natrénovan´ y. Pokud je vˇsak zapotˇreb´ı z´ıskat statistiky o u ´spˇeˇsnosti klasifikace, mus´ı b´ yt data známá a oznaˇcená markery. Klasifikace se spust´ı tlaˇc´ıtkem Analyzovat. Po v´ ypoˇctu je barvami oznaˇcena ˇcasová osa a do pravého panelu jsou vypsány informace o u ´spˇeˇsnosti. Ideáln´ı stav klasifikace je takov´ y, ˇze osa je obarvena pouze mezi dvˇema markery. Relativnˇe u ´spˇeˇsná klasifikace na ose

55



ˇ Obrázek 6.15: Casov´ a osa po klasifikaci ˇ a barva oznaˇcuje u vypadá jako na obrázku 6.15. Zlut´ ´sek dat klasifikovan´ ych ˇ jako 6 Hz, azurová barva data klasifikované jako 15 Hz. Cerven´ e ˇca´rky ohraniˇcuj´ı m´ısta se stimulaˇcn´ı frekvenc´ı 6 Hz a zelené ˇca´rky m´ısta, kde prob´ıhala stimulace 15 Hz.

Statistiky u ´ spˇ eˇ snosti klasifikace Statistiky poˇc´ıtá jedna z tˇr´ıd. Je tˇreba ˇr´ıci, ˇze se nejedná o testován´ı klasifikátoru, jako sp´ıˇse testován´ı experimentu celkovˇe. Data, která jsou klasifikována, nemus´ı b´ yt vˇzdy korektn´ı. Mohou b´ yt ovlivnˇena r˚ uzn´ ymi artefakty a nesoustˇredˇenost´ı osoby. Dalˇs´ım d˚ uvodem je m´ısto v záznamu, kde stimulace zaˇc´ıná nebo konˇc´ı. V tomto m´ıstˇe je velká ˇca´st zpracovávan´ ych dat z u ´seku bez stimulace, tud´ıˇz docház´ı k chybné klasifikaci na poˇcátku a na konci kaˇzdé epochy. Tato chyba vˇsak nen´ı nijak kritická pro vyuˇzit´ı v BCI, nebot’ se jen zpozd´ı odpovˇed’ a model auta zatoˇc´ı o nˇeco pozdˇeji. Daleko vˇetˇs´ı chyba je, pokud je v m´ıstˇe bez stimulace klasifikována jedna z frekvenc´ı. Z d˚ uvodu r˚ uzné závaˇznosti chyb byla do hodnocen´ı u ´spˇeˇsnosti zanesena váha jednotliv´ ych chyb. Statistiky vypisuj´ı u ´spˇeˇsnost rozpoznáván´ı, která hodnot´ı vˇsechny chyby stejnˇe a tud´ıˇz má niˇzˇs´ı hodnoty. Druhou meˇrenou statistikou je tzv. váˇzená chyba, která rozdˇeluje v´ yˇse popsané malé“ a velké“ chyby. Váhy tˇechto ” ” chyb lze mˇenit, ale v programu byla nadefinována velká chyba jako 1, malá chyba jako 0,5 (poloviˇcn´ı chyba) a správná klasifikace jako 0.

6.8.2

Program pro real-time komunikaci

Tento program byl vytvoˇren pro otestován´ı základn´ı funkˇcnosti real-time komunikace a pro ovˇeˇren´ı pouˇzitelnosti tohoto pˇr´ıstupu pro BCI. M˚ uˇze b´ yt 56



pouˇzit jako základn´ı kostra pro program ˇr´ıd´ıci BCI. Dalˇs´ı moˇznost´ı je doplnit program o modul pro ˇr´ızen´ı modelu auta a pouˇz´ıt pˇr´ımo tento program. Pokud by byl tento program pouˇzit pro fináln´ı BCI, bude obsahovat nˇekolik nástroj˚ u, které jsou zbyteˇcné. Nicménˇe pro ovˇeˇren´ı funkˇcnosti byly tyto nástroje nutné.

Naˇ c´ıt´ an´ı dat Naˇc´ıtán´ı dat prob´ıhá postupnˇe v závislosti na serveru, kter´ y data poskytuje. Postup z´ıskáván´ı a ukládán´ı dat byl popsán v implementaci modulu pro real-time naˇc´ıtán´ı dat. Jelikoˇz server vytváˇr´ı software BrainVision Recorder bylo by nutné veˇskeré testy provádˇet v laboratoˇri. Dokonce i testy modul˚ u nesouvisej´ıc´ıch s naˇc´ıtán´ım dat. Z tohoto d˚ uvodu byla vytvoˇrena tˇr´ıda Test.

Testovac´ı gener´ ator dat Pro testován´ı programu bylo nutné vytvoˇrit tˇr´ıdu, která by generovala data. Tyto data jsou generována dle naˇsich poˇzadavk˚ u v závislosti na testovaném modulu. Generovaná data maj´ı vˇetˇsinou povahu sinusového signálu, kter´ y m˚ uˇze b´ yt doplnˇen o urˇcené mnoˇzstv´ı ˇsumu. Lze stˇr´ıdat nˇekolik r˚ uzn´ ych frekvenc´ı v urˇcen´ ych ˇcasov´ ych intervalech. Tato tˇr´ıda Test nenahrazuje server, ale generuje data pˇr´ımo do bufferu, ˇc´ımˇz odˇr´ızne celou vrstvu staraj´ıc´ı se o komunikaci se serverem (obrázek 6.16). V´ yhodou tohoto pˇr´ıstupu je to, ˇze lze odladit vyˇsˇs´ı vrstvy programu na datech, která zcela jistˇe nejsou poˇskozena a pokud pˇri pouˇzit´ı v laboratoˇri docház´ı k problému, bude to zcela jistˇe vinou s´ıt’ové komunikace.

Vizualizace dat Aktuáln´ı data, která jsou v bufferu, lze vizualizovat nˇekolika zp˚ usoby. Jedná se o normáln´ı zobrazen´ı dat z bufferu, zobrazen´ı frekvenˇcn´ıho spektra vytvoˇreného pomoc´ı DFT a FFT a také spektrogramu.

57



Obrázek 6.16: Schéma napojen´ı generátoru dat na aplikaci Hrub´ a data zobrazuj´ı v grafu hodnoty z bufferu. Nejsou nijak upravována. Na obrázku 6.17 je ukázka dat pro sinus s frekvenc´ı 6 Hz a s 50% ˇsumem.

Frekvenˇ cn´ı spektrum je moˇzno zobrazit dvˇema zp˚ usoby. Jeden zp˚ usob je pomoc´ı FFT a druh´ y pomoc´ı DFT. Rozd´ıl v tˇechto moˇznostech je ten, ˇze kaˇzdé z tˇechto spekter má spektráln´ı ˇcáry na jin´ ych frekvenc´ıch. Pˇri pouˇz´ıvané vzorkovac´ı frekvenci 1000 a velikosti bufferu 2000 jsou spektráln´ı ˇcáry DFT po 0,5 Hz, zat´ımco FFT je má um´ıstˇené mimo hezké“ frekvence. Jak lze ” vidˇet na obrázku 6.18, zat´ımco spektrum z DFT obsahuje spektráln´ı ˇcáru pˇr´ımo na 6 Hz, u FFT se 6 Hz nacház´ı mezi dvˇemi ˇcárami, ˇc´ımˇz docház´ı k rozlit´ı mezi v´ıce ˇcar, coˇz je neˇza´douc´ı.

Spektrogram Posledn´ı implementovanou moˇznost´ı zobrazen´ı dat je spektrogram. Spektrogram uchovává kromˇe aktuáln´ıch dat i data starˇs´ı a ukazuje v´ yvoj frekvenc´ı v ˇcase. Implementován byl 2D spektrogram, u kterého tmavˇs´ı barva znamená vyˇsˇs´ı ˇcetnost v´ yskyt˚ u urˇcité frekvence. Na obrázku 6.19 lze vidˇet spektrogram obsahuj´ıc´ı nejprve jen ˇsum, v dalˇs´ı ˇcásti se pˇridává 6 Hz frekvence, která je dále vystˇr´ıdána 10 Hz frekvenc´ı. 58



Obrázek 6.17: Vizualizace dat z bufferu

Obrázek 6.18: Vlevo spektrum vypoˇctené metodou DFT, vpravo metodou FFT

59



Obrázek 6.19: Spektrogram

Obrázek 6.20: Tlaˇc´ıtka znázorˇ nuj´ıc´ı klasifikaˇcn´ı tˇr´ıdy Tr´ enov´ an´ı klasifik´ atoru Pro natrénovan´ı klasifikátoru slouˇz´ı poloˇzky v menu Klasifikace. Pokud je osoba stimulovaná nˇejakou frekvenc´ı a buffer je dostateˇcnˇe naplnˇen´ y, lze zaˇc´ıt trénován´ı tlaˇc´ıtkem Zacit uceni. Pro ukonˇcen´ı trénován´ı dané frekvence slouˇz´ı tlaˇc´ıtko Ukoncit uceni. Po ukonˇcen´ı uˇcen´ı se program jeˇstˇe zeptá, k jaké frekvenci tyto data náleˇz´ı. Pokud trénujeme data bez stimulace, vypln´ıme pol´ıˇcko ˇc´ıslem 0 nebo -1. T´ımto zp˚ usobem lze nadefinovat libovoln´ y poˇcet tˇr´ıd. U tohoto programu jiˇz neplat´ı omezen´ı na tˇri tˇr´ıdy jako v programu pro naˇc´ıtán´ı dat ze souboru. Po natrénovan´ı urˇcité frekvence se v pravé ˇcásti programu objev´ı tlaˇc´ıtka s identifikátorem frekvence (obrázek 6.20). Tyto tlaˇc´ıtka jsou neaktivn´ı. Po zaˇcátku klasifikace se stává aktivn´ı tlaˇc´ıtko, které odpov´ıdá aktuálnˇe klasifikovan´ ym dat˚ um.

60



Obrázek 6.21: Klasifikace aktuáln´ıch dat Klasifikace Pokud probˇehlo u ´spˇeˇsnˇe trénován´ı klasifikátoru, lze spustit klasifikaci. Klasifikace se spouˇst´ı tlaˇc´ıtkem Zacit klasifikaci. Po spuˇstˇen´ı klasifikace se otevˇre okno vykresluj´ıc´ı podprostor klasifikaˇcn´ıho prostoru pro dva pˇr´ıznaky a zobrazuje tˇri tˇr´ıdy a pozici aktuáln´ıch dat. Tento prvek má v´ yznam zejména pokud prob´ıhá klasifikace do tˇr´ı tˇr´ıd. Konkrétn´ı pˇr´ıklad m˚ uˇze vypadat jako na obrázku 6.21, kde pˇr´ıznakov´ y vektor aktuáln´ıch dat spadl do tˇr´ıdy 6 Hz.

61

7 Ovˇeˇren´ı funkˇcnosti modul˚ u Ovˇeˇrován´ı funkˇcnosti prob´ıhalo r˚ uzn´ ym zp˚ usobem v závislosti na moˇznostech. Jelikoˇz vˇsechny moduly na sobˇe v´ıce ˇci ménˇe závis´ı, byl obˇcas problém testovat vˇse jednotlivˇe.

7.1

Naˇ c´ıt´ an´ı EEG dat

Pˇri naˇc´ıtán´ı dat nelze pˇresnˇe kontrolovat vstup. Ovˇeˇrit správnost lze jen porovnán´ım se softwarem BrainVision Analyzer, kter´ y lze brát jako referenˇcn´ı. Druhou moˇznost´ı je ovˇeˇrit ostatn´ı moduly na testovac´ım generátoru dat a pˇri v´ ymˇenˇe generátoru za modul naˇc´ıtán´ı dat mus´ı vˇse fungovat stejnˇe jako pˇredt´ım. V opaˇcném pˇr´ıpadˇe se zcela jistˇe jedná o chybu v naˇc´ıtán´ı dat. V tomto pˇr´ıpadˇe byla pouˇzita druhá metoda, nebot’ pˇr´ıstup k softwaru BrainVision Analyzer je omezen´ y a nacház´ı se na jediném poˇc´ıtaˇci v laboratoˇri. Naˇc´ıtán´ı dat ze souboru se ukázalo funkˇcn´ı bez jakéhokoliv problému a klasifikace prob´ıhala relativnˇe spolehlivˇe. Malé chyby v klasifikaci nejsou v ˇzádném pˇr´ıpadˇe zp˚ usobené naˇc´ıtán´ım dat. Naˇc´ıtán´ı dat v reálném ˇcase lze porovnávat bˇehem mˇeˇren´ı. Pokud sledujeme záznam v softwaru BrainVision Recorder a vizualizaci dat v programu, je vidˇet stejná kˇrivka. Tento fakt prokazuje správné naˇc´ıtán´ı hodnot, coˇz následnˇe potvrdila i klasifikace. Zde vˇsak obˇcas nastává problém se stabilitou, kdy z neznámého d˚ uvodu pˇrestane pracovat pos´ılán´ı dat a je tˇreba spojen´ı znovu obnovit.

7.2

Zpracov´ an´ı EEG dat

Zpracován´ı EEG dat v tomto pˇr´ıpadˇe spoˇc´ıvá v pr˚ umˇerován´ı signál˚ u z r˚ uzn´ ych elektrod a následném zpracován´ı pomoc´ı Fourierovy transformace. Pr˚ umˇerován´ı jednotliv´ ych kanál˚ u je zcela pr˚ uhledná operace popsána v implementaci.

62

Ovˇeˇren´ı funkˇcnosti modul˚ u

7.2.1


FFT a DFT

Zaj´ımavˇejˇs´ı je to ovˇsem s Fourierovou transformac´ı. Správnost v´ ysledk˚ u lze ovˇeˇrit prostudován´ım frekvenˇcn´ıho spektra. Tento krok je ovˇsem spojen´ y s vizualizac´ı a vygenerován´ım vhodného signálu pro zpracován´ı. Jak jiˇz bylo ˇreˇceno, program pouˇz´ıvá diskrétn´ı a rychlou Fourierovu transformaci. Pokud bude vygenerován sinusov´ y signál o frekvenci napˇr´ıklad 6 Hz pˇri vzorkovac´ı frekvenci 1000 Hz a Fourierova transformace bude poˇc´ıtána z 2000 vzork˚ u, teoreticky by mˇelo vyj´ıt spektrum následovnˇe.

Pro DFT z˚ ustávaj´ı vˇsechny parametry tak, jak byly zadány. Nejprve je tˇreba zjistit po jaké frekvenci se budou jednotlivé spektráln´ı ˇca´ry vyskytovat. Zadán´ı pˇr´ıkladu je tedy f [k] = 6Hz, fs = 1000Hz, N = 2000 a k je neznámé. Ze vzorce 4.9 je tedy tˇreba vyjádˇrit k. k=

f [k] · N fs

Po dosazen´ı vyjde

6 · 2000 = 12 1000 Nyn´ı v´ıme, ˇze jediná ˇca´ra celého spektra bude na dvanácté pozici, ostatn´ı hodnoty budou nulové. k=

Pro FFT nastává oproti DFT jedna zmˇena. Jelikoˇz pro FFT je nutné, aby bylo N mocninou 2, bude doplnˇena posloupnost hodnot nulami na délku 2048. Vˇsechny hodnoty z˚ ustavaj´ı stejné jako v pˇredchoz´ım pˇr´ıpadˇe, jen N = 2048. Po dosazen´ı tedy dostaneme: 6 · 2048 = 12, 288 1000 Jelikoˇz se poˇzadovaná frekvence nacház´ı mimo spektráln´ı ˇcáru, bude rozloˇzena do v´ıce ˇcar, nicménˇe nejvyˇsˇs´ı amplitudy by mˇela nab´ yvat stále dvanáctá hodnota. k=

V´ ysledky testu Pro oba pˇr´ıpady bylo vykresleno spektrum (obrázek 7.1). Kromˇe sinusového signálu bylo do generovan´ ych dat pˇridáno malé mnoˇzstv´ı ˇsumu, aby bylo 63


Klasifikace

Obrázek 7.1: Spektrum DFT vlevo a FFT vpravo moˇzné odpoˇc´ıtat spektráln´ı ˇca´ry. Test dopadl dle pˇredpoklad˚ u. Pro DFT se nacház´ı jediná spektráln´ı ˇca´ra na dvanácté pozici. Spektrum FFT se rozlilo okolo dvanácté spektráln´ı ˇca´ry z d˚ uvodu neceloˇc´ıselné hodnoty. Test vyˇsel pˇresnˇe dle pˇredpoklad˚ u, lze tedy povaˇzovat implementaci DFT a FFT za správnou.

7.3

Klasifikace

Klasifikátor byl testován zejména pro periodické signály s r˚ uznou u ´rovn´ı ˇsumu. Na reáln´ ych datech byl testován také, ale tam to jiˇz nevypov´ıdá tolik o kvalitˇe klasifikátoru jako o celkovém u ´spˇechu ˇci ne´ uspˇechu experimentu. Jelikoˇz v BCI je tˇreba klasifikace do tˇr´ı tˇr´ıd, základn´ı test byl navrˇzen jako stˇr´ıdán´ı ˇsumu, 6 Hz sinusovky a 15 Hz sinusovky. Samozˇrejmˇe, ˇze taková klasifikace prob´ıhá naprosto spolehlivˇe. Pˇr´ıznakov´ y vektor tvoˇr´ı aplitudy okol´ı 6 Hz a 15 Hz. Pokud tento pˇr´ıpad bude vynesen do pˇr´ıznakového prostoru, vid´ıme v´ ysledek na obrázku 7.3 vlevo. Nenacház´ı se ˇzádn´ y ˇsum, jednotlivé tˇr´ıdy leˇz´ı pˇr´ımo na ose a dokonce vˇetˇsina v´ yskyt˚ u dané tˇr´ıdy se nacház´ı pˇr´ımo v nejbliˇzˇs´ım okol´ı tˇeˇziˇstˇe tˇr´ıdy. Stejn´ ym zp˚ usobem funguje klasifikace i pro vˇetˇs´ı procenta ˇsumu v signálu s t´ım rozd´ılem, ˇze se zmenˇsuj´ı vzdálenosti tˇr´ıd. Klasifikátor funguje zcela spolehlivˇe do velmi vysokého procenta ˇsumu. Aˇz kolem 95% ˇsumu nastávaj´ı obˇcasné chyby klasifikace, ale vˇetˇsina dat je i pˇresto klasifikována správnˇe. Z dat s takovou hodnotou ˇsumu jiˇz jen tˇeˇzko pouh´ ym okem rozpoznat o jak´ y signál se p˚ uvodnˇe jednalo. Na obrázku 7.2 je zobrazen sinus s frekvenc´ı 6 Hz. 64


Klasifikace

Obrázek 7.2: Funkce sinus o frekvenci 6 Hz vlevo bez ˇsumu, vpravo s 95% ˇsumem

Obrázek 7.3: Pˇr´ıznakov´ y prostor pro 3 tˇr´ıdy bez ˇsumu vlevo a s 95% ˇsumem vpravo

65


Celkový test

Vlevo bez ˇsumu, vpravo s 95% ˇsumem. Pokud se pod´ıváme na pˇr´ıznakov´ y prostor v tomto pˇr´ıpadˇe (obrázek 7.3 vpravo), tˇr´ıdy jsou jiˇz daleko bl´ıˇze u sebe neˇz v signálu bez ˇsumu. Kromˇe toho nejsou pˇr´ımo na osách, nebot’ kv˚ uli ˇsumu je v´ yrazn´ y i pˇr´ıznak, kter´ y by se u urˇcité frekvence v˚ ubec nemˇel vyskytovat. Jednotlivé v´ yskyty maj´ı od tˇeˇziˇstˇe tˇr´ıd vˇetˇs´ı vzdálenost. Z tohoto d˚ uvodu m˚ uˇze obˇcas docházet k chybˇe klasifikátoru. Klasifikátor je schopen správnˇe klasifikovat data i s velk´ ym mnoˇzstv´ım ˇsumu. Lze tedy pˇredpokládat, ˇze pˇri klasifikaci EEG dat bude u ´spˇeˇsnost relativnˇe vysoká.

7.4

Celkov´ y test

V tomto testu se jednalo o zjiˇstˇen´ı u ´spˇeˇsnosti klasifikace na reáln´ ych datech. Testován´ı prob´ıhalo na programu pro naˇc´ıtán´ı dat ze souboru. Jelikoˇz tento program obsahuje stejn´ y zp˚ usob zpracován´ı a klasifikace, lze v´ ysledky povaˇzovat za objektivn´ı i v rámci zpracován´ı v reálném ˇcase v druhém programu.

7.4.1

Popis experimentu

Pro tento experiment byla pouˇzita data namˇeˇrená na jaˇre roku 2010. Subjekty byli muˇzi ve vˇeku 18 - 25 let. Celkov´ y poˇcet subjekt˚ u byl 5. Kaˇzd´ y z nich sledoval postupnˇe ˇctyˇri scénáˇre. Jednalo se o stimulaci ˇctvereˇckem a ˇsipkou v ˇcervené a modré barvˇe zobrazovan´ ymi na monitoru poˇc´ıtaˇce. Frekvence blikán´ı byly 6 Hz a 15 Hz. Pro kaˇzd´ y scénáˇr bylo namˇeˇreno 12 epoch o délce 5 - 10 sekund.

7.4.2

Zpracov´ an´ı dat

U namˇeˇren´ ych dat byly kromˇe statistik sledovány i grafy frekvenˇcn´ıch spekter. Ve vˇsech pˇr´ıpadech by grafy mˇely vypadat pˇribliˇznˇe jako na obrázc´ıch 7.4, 7.5 a 7.6. V grafu vˇzdy prvn´ı modrá ˇcára oznaˇcuje 6 Hz a druhá modrá 15 Hz, coˇz jsou stimulaˇcn´ı frekvence. Zelené ˇcáry jsou jejich prvn´ı harmonické frekvence. Na obrázku 7.4 se jedná o stimulaci 6 Hz stimulem. Je vidˇet vysoká amplituda v okol´ı spektráln´ı ˇca´ry 6 Hz a dokonce i na 12 Hz. U obrázku 7.5 se jedná o 15 Hz stimulaci. Amplituda jiˇz nen´ı tak vysoká. Posledn´ı 66


Celkový test

Obrázek 7.4: Frekvenˇcn´ı spektrum pˇri 6 Hz stimulaci

Obrázek 7.5: Frekvenˇcn´ı spektrum pˇri 15 Hz stimulaci

67


Celkový test

Obrázek 7.6: Frekvenˇcn´ı spektrum bez stimulace

z obrázk˚ u 7.6 ukazuje spektrum normáln´ıho stavu bez stimulace. Tyto obrázky demonstruj´ı relativnˇe dobrá data. U mnoha subjekt˚ u frekvenˇcn´ı spektra pˇri stimulaci nevykazuj´ı ˇza´dné pravidelnosti a pouh´ ym okem (vˇetˇsinou ani pomoc´ı klasifikátoru) nelze dosáhnout vysok´ ych u ´spˇeˇsnost´ı pˇri klasifikaci. Subjekt 1 Sada dat Trénovac´ı data Data 1 Data 2 Data 3 Pr˚ umˇer

´ eˇ Uspˇ snost 0.8265 0.7776 0.6817 0.6971 0.7457

Chyba 0.1735 0.2224 0.3183 0.3029 0.2542

V´ aˇ zen´ au ´ spˇ eˇ snost 0.8874 0.8765 0.8246 0.8291 0.8544

V´ aˇ zen´ a chyba 0.1126 0.1235 0.1754 0.1709 0.1456

Z v´ ysledk˚ u je patrné, ˇze osoba reagovala na modr´ y stimul ménˇe neˇz na ˇcerven´ y. Dále je také zˇrejmé, ˇze chyby pˇri klasifikaci jsou vˇetˇsinou malé (tzn. neoznaˇcen´ı ˇzádné frekvence bˇehem blikán´ı), nebot’ váˇzená u ´spˇeˇsnost rozpoznáván´ı je ˇrádovˇe o 10% vyˇsˇs´ı. Na tomto faktu se velkou mˇerou pod´ıl´ı postupn´ y nábˇeh a sebˇeh na zaˇca´tc´ıch a konc´ıch epoch. Subjekt 2 Sada dat Trénovac´ı data Data 1 Data 2 Data 3 Pr˚ umˇer

´ eˇ Uspˇ snost 0.7234 0.7878 0.6248 0.6835 0.7049

Chyba 0.2766 0.2122 0.3752 0.3165 0.2951

68


V´ aˇ zen´ a chyba 0.1782 0.1183 0.2874 0.2087 0.1982


Celkový test

U druhého subjektu jsou v´ ysledky velmi podobné prvn´ımu. Subjekt 3 Sada dat Trénovac´ı data Data 1 Data 2 Data 3 Pr˚ umˇer

´ eˇ Uspˇ snost 0.7858 0.7653 0.7748 0.5563 0.7206

Chyba 0.2142 0.2347 0.2252 0.4437 0.2795


V´ aˇ zen´ a chyba 0.1181 0.1216 0.1253 0.2396 0.1512

Tˇret´ı osoba mˇela dobré reakce i na modrou barvu, jak je vidˇet z ˇrádku Data 2, avˇsak posledn´ı sada dat z˚ ustává v u ´spˇeˇsnosti rozpoznáván´ı daleko pod ˇ ostatn´ımi. Slo zˇrejmˇe o nesoustˇredˇenost subjektu. Subjekt 4 Sada dat Trénovac´ı data Data 1 Data 2 Data 3 Pr˚ umˇer

´ eˇ Uspˇ snost 0.6846 0.6758 0.6365 0.5953 0.6481

Chyba 0.3154 0.3242 0.3635 0.4047 0.3520


V´ aˇ zen´ a chyba 0.2327 0.2498 0.3067 0.3300 0.2798

U tohoto subjektu jsou celkovˇe u ´spˇeˇsnosti rozpoznáván´ı velice n´ızké. Subjekt se pravdˇepodobnˇe soustˇredil nesprávn´ ym zp˚ usobem a systém BCI by v tomto pˇr´ıpadˇe selhával. Subjekt 5 Sada dat Trénovac´ı data Data 1 Data 2 Data 3 Pr˚ umˇer

´ eˇ Uspˇ snost 0.7065 0.7461 0.6615 0.5711 0.6713

Chyba 0.2935 0.2539 0.3382 0.4289 0.3286


V´ ysledky opˇet ukazuj´ı horˇs´ı odezvu subjektu na modrou barvu.

69

V´ aˇ zen´ a chyba 0.1949 0.1732 0.2383 0.2846 0.2228


7.4.3

Celkový test

Z´ avˇ er experimentu

Ze z´ıskan´ ych hodnot je jasnˇe patrné, ˇze stimulace modrou barvou na vˇetˇsinu subjekt˚ u nep˚ usob´ı tak v´ yraznˇe jako barva ˇcervená. Dále lze pozorovat, ˇze vˇetˇsina klasifikaˇcn´ıch chyb je na zaˇcátc´ıch a konc´ıch epoch, kde je dlouh´ y nábˇeh a sebˇeh. Pokud bychom tyto chyby nebrali jako chyby (tj. nastavit parametry váˇzené chyby na 1; 0; 0), dostali bychom se v nˇekter´ ych pˇr´ıpadech su ´spˇeˇsnost´ı klasifikace aˇz k 95%. Pˇri nastaven´ı, jaké bylo pouˇzito v tabulkách (neoznaˇcen´ı dat, které maj´ı b´ yt oznaˇceny je poloviˇcn´ı chyba), se u ´spˇeˇsnost klasifikace pohybuje u ˇcervené barvy od 75% do 90% v závislosti na subjektu. U modré barvy se pak u ´spˇeˇsnost pohybuje ˇra´dovˇe o 10% n´ıˇze. Pokud se jedná o pouˇzitelnost tohoto principu pro oblasti BCI, m˚ uˇze b´ yt systém relativnˇe spolehliv´ y. Zejména pokud subjekt bude m´ıt odezvu, zda jeho soustˇredˇen´ı je správné nebo ne. Je jasné, ˇze kaˇzd´ y ˇclovˇek nedosáhne vysoké spolehlivosti hned. Nejvˇetˇs´ı neznámou je zde vˇzdy testovaná osoba.

70

8 Závˇer Diplomová práce se zab´ yvá aplikac´ı ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u v oblasti BCI. Jelikoˇz se jedná o téma zacházej´ıc´ı ve velké m´ıˇre do medic´ıny, bylo zapotˇreb´ı nastudovat mnoˇzstv´ı materiál˚ u t´ ykaj´ıc´ıch se vyˇsetˇren´ı mozku a evokovan´ ych potenciál˚ u. Na základˇe tˇechto znalost´ı bylo moˇzné pˇripravit stimulaˇcn´ı scénáˇr a následnˇe testovat moduly pro zpracován´ı a klasifikaci dat. Tyto moduly byly vyrobeny jako moˇzná souˇcást pˇripravovaného BCI, kde je ovládáno robotické voz´ıtko právˇe pomoc´ı ustálen´ ych vizuáln´ıch evokovan´ ych potenciál˚ u. Práce je ˇclenˇena na osm kapitol. Po krátkém u ´vodu se nacház´ı kapitola s názvem Elektroencefalografie. V této ˇca´sti jsou struˇcnˇe probrány základn´ı principy mˇeˇren´ı EEG, typy mozkov´ ych vln a také problémy, na které lze pˇri mˇeˇren´ı narazit. Následuje kapitola Evokované potenciály obsahuj´ıc´ı souhrn informac´ı o jednotliv´ ych typech evokovan´ ych potenciál˚ u. D˚ uraz je pˇredevˇs´ım kladen na vizuáln´ı evokované potenciály, které jsou zde popsány detailnˇeji. Dalˇs´ı ˇcást se zab´ yvá metodami pro zpracován´ı EEG. Jedná se zejména o r˚ uzné druhy Fourierov´ ych transformac´ı. Posledn´ı kapitola teoretické ˇca´sti se zamˇeˇruje na klasifikaci. Kv˚ uli povaze zpracovávan´ ych dat jsou zde probrány pouze pˇr´ıznakové metody. Návrh a implementace BCI se zab´ yvá uˇz vlastn´ım návrhem systému ovládán´ı robotického voz´ıtka pomoc´ı SSVEP. Jsou zde popsány veˇskeré postupy pˇri v´ yrobˇe stimulaˇcn´ıho scénáˇre, zpracován´ı dat, klasifikace a dalˇs´ı. Jednotlivé moduly popsané v této ˇca´sti jsou v dalˇs´ı kapitole testovány. Testován´ı modul˚ u je zakonˇceno komplexn´ım testem pro ovˇeˇren´ı funkce celkového principu a zjiˇstˇen´ı vyuˇzitelnosti SSVEP v oblasti BCI. Bˇehem implementace a testován´ı nenastaly v´ yraznˇejˇs´ı komplikace. Vˇetˇsina modul˚ u pracuj´ıc´ıch s real-time daty byla testována pˇreváˇznˇe na generovan´ ych datech, nebot’ propojen´ı s pˇr´ıstrojem pro mˇeˇren´ı EEG bylo moˇzné pouze v laboratoˇri. I pˇres tento fakt pˇri následném testu v laboratoˇri vˇse fungovalo jak mˇelo a klasifikace prob´ıhala u mˇeˇrené osoby spolehlivˇe. Program pro naˇc´ıtán´ı dat ze souboru byl pouˇz´ıván pˇri vyhodnocen´ı spolehlivosti klasifikátoru. Z v´ ysledk˚ u je vidˇet, ˇze klasifikace dosahuje u ´spˇeˇsnosti aˇz 90%. Jelikoˇz tyto testy byly provádˇeny na náhodn´ ych subjektech bez zpˇetné vazby, lze pˇredpokládat, ˇze pˇri ovládán´ı robotického voz´ıtka bude u ´spˇeˇsnost klasifikace jeˇstˇe vyˇsˇs´ı. Diplomová práce ukázala, ˇze lze pouˇz´ıt princip SSVEP pro ovládán´ı robo71

Závˇer

tického voz´ıtka. K realizaci tohoto systému práce pˇrispˇela nˇekolika moduly, které byly ovˇeˇreny a lze je nasadit. Práci lze povaˇzovat za u ´spˇeˇsnou, nebot’ pˇrispˇela k vytvoˇren´ı zaj´ımavého BCI systému a splnila veˇskeré poˇzadavky na ni kladené.

72

Literatura [1] FORNBAUM, M. Bakaláˇrská práce: Ustálené vizuáln´ı evokované potenciály a jejich aplikace v oblasti BCI. Západoˇceská univerzita v Plzni, Fakulta aplikovan´ ych vˇed, Katedra informatiky a v´ ypoˇcetn´ı techniky, 2010. ˇ ´ [2] HERMAN, P. Biosignály z pohledu biofyziky. Petr Heˇrman – DULOS, 2006. ˇ ´ P. Evokované potenciály v klinické praxi. Brno : Institut [3] KANOVSK Y, pro dalˇs´ı vzdˇeláván´ı pracovn´ık˚ u ve zdravotnictv´ı, 2000. ´ R, ˇ R. Lékaˇrská diagnostická technika. VUT Brno, 2006. [4] KOLA ˇ ÍK, V. Umˇelá inteligence 1. Academia Praha, 1993. [5] MAR [6] MAUTNER, P. Pˇrednáˇsky KIV/AZS. Pˇrednáˇsky z pˇredmˇetu KIV/AZS. [7] Presentation documentation. Neurobehavioral Systems, 2012. Dostupné z: http://www.neurobs.com/presentation/docs. [8] ROZMAN, J. Elektronické pˇr´ıstroje v lékaˇrstv´ı. Academia, 2006. [9] ZHU, D. A Survey of Stimulation Methods Used in SSVEP - Based BCIs. 2010. Dostupné z: http://www.hindawi.com/journals/cin/2010/702357.html.

73

Západočeská univerzita v Plzni Fakulta aplikovaných věd Katedra informatiky a výpočetní techniky. potenciály (SSVEP) a jejich aplikace v systému BCI

Recommend Documents