Brain-Computer Interfaces ir. Pieter-Jan Kindermans, Vakgroep Elektronica en Informatiesystemen, Universiteit Gent
1
Een robot besturen met gedachten? Bron: M. Velliste, et al. Cortical control of a prosthetic arm for self-feeding, Nature, 2008
bron: website Velliste
2
Wat is een Brain-Computer Interface? Citaat uit: TOWARD DIRECT BRAIN-COMPUTER COMMUNICATION - Jacques J. Vidal, UCLA, CYBERSPACE BIONICS, 1973 - The Brain Computer Interface project, described later in this chapter, was meant to be a first attempt to evaluate the feasibility and practicality of utilizing the brain signals in a man-computer dialogue while at the same time developing a novel tool for the study of the neurophysiological phenomena that govern the production and the control of observable neuroelectric events. - Oorsprong van de term Brain-Computer Interface (BCI) bron:site vidal
3
Toepassingen van BCI - Communicatie met pc ‣ verlamde personen laten praten, surfen, tekenen, ... ‣ games, virtual reality, ... ‣ controle rolstoel, wagen, robotarm, ....
bron: openvibe
bron: UPMC, Pittsburg
4
Waaruit bestaat een BCI
bron: kuka
Hersensignalen
Magie
Applicatie
5
Meten van hersensignalen
6
Wat is FMRI? - Meet zuurstof in het brein (BOLD signal) - slechte schatting van tijd - goede locatie bepaling bron: fmrib.ox.ac.uk
bron:wikipedia
7
Wat is EEG? 40
signaal
20 0 −20 −40
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2
1.2
1.4
1.6
1.8
2
1.2
1.4
1.6
1.8
2
1.2
1.4
1.6
1.8
2
tijd 40
signaal
20 0 −20 −40
0
0.2
0.4
0.6
0.8
1 tijd
40
signaal
20 0 −20 −40
0
0.2
0.4
0.6
0.8
1 tijd
40
signaal
20 0 −20 −40
0
0.2
0.4
0.6
0.8
1 tijd
8
Herkennen van hersensignalen
9
Hoe raak ik van de Zebrastraat naar station Gent Sint-Pieters?
10
Oplossing
11
Leg uit aan de telefoon hoe ik
字 herken
bron: wikipedia 12
Oplossing
bron: wikipedia 13
Oplossing We moeten de computer aanleren hoe hij met EEG kan werken 40
signaal
20 0 −20 −40
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2
1.2
1.4
1.6
1.8
2
1.2
1.4
1.6
1.8
2
1.2
1.4
1.6
1.8
2
tijd 40
0 −20 −40
0
0.2
0.4
0.6
0.8
1 tijd
40 20 signaal
=
signaal
20
0 −20 −40
0
0.2
0.4
0.6
0.8
1 tijd
40
signaal
20 0 −20
bron: wikipedia
−40
0
0.2
0.4
0.6
0.8
1 tijd
14
Computer laten leren is Machine Learning Supervised Learning
Unsupervised Learning
bron: wikipedia
Reinforcement Learning
bron: wikipedia
bron: wikipedia
15
Reservoir Lab, ELIS, FEA, UGent Machine Learning Onderzoeksgroep - prof. dr. ir. Benjamin Schrauwen - Theoretisch onderzoek 4
2
- Toepassen van ML op
0
−2
‣ BCI, Epilepsie
−2
2
6
‣ Muziek ‣ Robotica 16
Gebruik van hersensignalen
17
Hoe werkt een BCI? We bekijken de volgende onderdelen - Wat is het doel van de BCI ‣ Videoreconstructie ‣ Tekst typen/communiceren - Hoe is de data opgenomen? - Wat doet de machine learning (of magie)?
18
FMRI gebaseerde video reconstructie Bron: Reconstructing visual experiences from brain activity evoked by natural movies, S. Nishimoto, et al., Current Biology, 2011
bron: gallantlab.org,wikipedia
Het dichtste bij “echt” gedachten lezen tot nu toe
19
FMRI gebaseerde video reconstructie
bron: gallantlab.org
20
FMRI gebaseerde video reconstructie
bron: wikipedia
Computer leert FMRI te voorspellen met model
bron: wikipedia
bron: gallantlab.org,wikipedia
21
FMRI gebaseerde video reconstructie
bron: wikipedia,gallantlab.org 22
FMRI gebaseerde video reconstructie
bron: gallantlab.org
23
FMRI gebaseerde video reconstructie FMRI is een zeer krachtige methode om informatie uit het brein te halen - kolossaal - onbetaalbaar (voor mij) - traag - niet draagbaar - veel rekenkracht bron: wikipedia
24
Onderzoekers aan de UGent ontwikkelen eerste zelflerende Brain-Computer Interface
25
P300 Speller Idee bestaat sinds 1988 (Farwell & Donchin)
26
P300 Speller
27
Welke informatie zit er in het EEG
0.15 P300 NON P300
0.1 0.05 0 0.05 0.1
0
0.2
0.4 0.6 time (s)
0.8
1
28
Werkwijze standaard P300 speller
bron: wikipedia
- Zet een EEG muts op en voeg gel toe ‣ Smeerboel ‣ 30-45 min - Staar naar vooraf gekozen letters ‣ trainen van de computer ‣ 10-20 min - Indien nog wakker, spel tekst 29
Kunnen we iets aan die EEG muts doen?
30
Emotiv EPOC of droge elektroden
bron: emotiv.com, gtec
31
Kunnen we iets aan de training doen?
32
Welke kolom is speciaal (hoort er niet thuis)? A
B
C
D
E
F
33
Jullie zijn een zelflerende BCI!
34
Hoe vertalen we dit naar de P300 BCI?
0.15 P300 NON P300
0.1 0.05 0 0.05 0.1
0
0.2
0.4 0.6 time (s)
0.8
1
35
Een beetje moeilijker. De speciale kolom is ...... A
B
C
D
E
F
36
En de speciale kolom is? A
B
C
D
E
F
37
In een P300 BCI
0.15 P300 NON P300
0.1 0.05 0 0.05 0.1
0
0.2
0.4 0.6 time (s)
0.8
1
38
Kunnen we het ook met echt EEG? A
B
C
D
E
F
40
40
40
40
40
40
20
20
20
20
20
20
0
0
0
0
0
0
−20
−20
−20
−20
−20
−20
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
40
40
40
40
40
40
20
20
20
20
20
20
0
0
0
0
0
0
−20
−20
−20
−20
−20
−20
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
40
40
40
40
40
40
20
20
20
20
20
20
0
0
0
0
0
0
−20
−20
−20
−20
−20
−20
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
−40
0
0.2 tijd
0.4
0
0.2 tijd
0.4
0
0.2 tijd
0.4
39
Ik niet, dus tijd voor Machine Learning
40
Herhaling: Wat moeten we herkennen?
0.15 P300 NON P300
0.1 0.05 0 0.05 0.1
0
0.2
0.4 0.6 time (s)
0.8
1
41
Hoe leggen we dat uit aan de computer?
42
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing:
- We kijken maar naar 1 letter tegelijk:
- EEG met P300 is anders dan EEG zonder P300
- We zeggen niet hoe het EEG er uit ziet! 43
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing:
p (w)
=
N (w|0, ↵I) ,
- We kijken maar naar 1 letter tegelijk:
- EEG met P300 is anders dan EEG zonder P300
- We zeggen niet hoe het EEG er uit ziet! 44
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing:
p (w)
=
N (w|0, ↵I) ,
- We kijken maar naar 1 letter tegelijk:
1 p (ct ) = , C - EEG met P300 is anders dan EEG zonder P300
- We zeggen niet hoe het EEG er uit ziet! 45
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing:
p (w)
=
N (w|0, ↵I) ,
- We kijken maar naar 1 letter tegelijk:
1 p (ct ) = , C - EEG met P300 is anders dan EEG zonder P300
p (xt,i |ct , w, )
=
N xt,i w|y t,i (ct ,
,
- We zeggen niet hoe het EEG er uit ziet! 46
Op zoek naar de beste manier om de P300 te detecteren w
=
X c
p c|X, w
old
,
old
✓
T
X X+
↵
bron: wikipedia
old
old
I
◆
1 T
X y (c)
47
P300 Speller Demo
48
Zelflerende Brain-Computer Interface voor P300
Uniek systeem, enige ter wereld
Niet meer nodeloos naar het scherm staren
Het werkt vanzelf
49
Onderzoek mogelijk gemaakt door Onderzoek gsteund door het Bijzoner Onderzoeksfonds van de Universiteit Gent onder het BOF-GOA project Home-MATE prof. dr. Santens voor het beschikbaar stellen van EEG apparatuur - Hannes Verschore, David Verstraeten, Benjamin Schrauwen - mensen van reservoir lab - proefkonijnen
50
Enkele opmerkingen Deze presentatie bevatte slechts een deelverzameling van het BCI onderzoek - Verschillende paradigma’s/applicaties zijn niet behandeld ‣ o.m. SSVEP, Auditory P300, Motor Imagery, .... - Vooral hoe werkt een BCI en wat zijn de onderdelen kwam aan bod ‣ onderzoek met patienten is essentieel ‣ onderzoek naar verbeteringen in acquisitie (NIRS ipv FMRI) ‣ ontdekken van nieuwe herkenbare signalen 51
Conclusie Brain-Computer Interfaces bestaan reeds, met fenomenale resultaten - We lezen geen gedachten, maar herkennen hersenactiviteit 0.15 P300 NON P300
0.1 0.05 0 0.05 0.1
0
0.2
0.4 0.6 time (s)
0.8
1
52
Conclusie - Wees creatief, BCI kan overal gebruikt worden ‣ kwaliteit audio signaal meten ‣ Noodstop bij auto versnellen ‣ Virtuele helikopter besturen ‣ Detecteren van slecht werkende verdoving ‣ ...
53
Conclusie Brain-Computer Interfaces bestaan reeds, met fenomenale resultaten - BCI wordt reeds toegepast om mensen te helpen
bron: UPMC, Pittsburg
54
Conclusie - Machine Learning is essentieel (signalen meten ook natuurlijk)
55
