Hack the Brain. Robot Telepresence. Op het puntje van je tong. Brain Computer Interfacing. JAARGANG 10 NR. 1 - maart BREIN

Hack the Brain Op het puntje van je tong JAARGANG 10 NR. 1 - maart 2015 - BREIN

Brain Computer Interfacing

Robot Telepresence

HÉT AI-BLAD VOOR STUDENTEN EN ANDERE GEÏNTERESSEERDEN

Inhoud

20

Brein:

van links tot rechts fascinerend

04 News

Redactie

06 Evidence accumulation Arnoud van der Meulen

08 BCI: Wegen naar de

11

toekomst Anton Nijhold

6 8

11

Robots in de Zorg

12 Hack the Brain Sören Weber

14 Enhanced Spellers BCIs Jordy Thielen

18 Reverse Engineering the Brain

Jelte van Waterschoot

20 Robotics and Agriculture

Ruud Barth

22 Neuromodeling Roland Meertens 26 Robotic telepresence

Luc Nies

27 Puzzel Redactie

12

22

Roland Meertens, Hoofdredacteur De Connectie

column redactioneel De Connectie

AI & Brein Het onderwerp van deze Connectie is “Het Brein”. Kunstmatige intelligentie is ooit begonnen toen wetenschappers probeerden de menselijke intelligentie na te bootsen. De computer moest hetzelfde gaan doen als het menselijke brein. Bijna zestig jaar later zijn onderzoekers nog steeds bezig met het onderzoeken van het brein. Twee manieren om het brein te onderzoeken staan in deze Connectie. Op pagina 22 staat een artikel over het vinden van communities binnen gebieden in het brein. Een andere manier van visualisatie is met behulp van een 3D printer, zoals gebeurde op Hack the Brain afgelopen jaar. Het uiteindelijke doel van dit onderzoek is genoeg kennis hebben om een kunstmatig brein te bouwen. Hoe ver we daarin zijn, en wat ons hierin tegenhoudt, wordt beschreven door Jelte op pagina 18. Behalve het brein bestuderen is het een handig hulpmiddel om het brein te gebruiken als input van programma’s. Dit is waar het gebied van Brain Computer Interfaces (BCI) mee bezig is. Door signalen uit het brein te meten kunnen ze in een computer in acties worden omgezet. Hoewel de techniek veelbelovend is zal het lang duren voordat het voor iedereen bruikbaar is. Wat de roadmap voor de ontwikkeling van BCI is, vertelt Anton Nijholt op pagina 8. In deze editie staan ook algemene artikelen. Ruud Barth vertelt hoe hij de afgelopen jaren onderzoek heeft gedaan naar een robot die paprika's kan oogsten. Ook staat in deze editie een verslag van een lezing over zorgrobots. Ten slotte vertelt Luc over telepresence, hoe hij zich verplaatst in het brein van de Nao robot op pagina 26.

Hoofdredactie Roland Meertens Eindredactie Jelte van Waterschoot, Esther Smits Penningmeester Jelte van Waterschoot Secretaris Esther Smits Layout Ben Wolf Omslag Wouter van der Weel Webmaster Ben Wolf

De Connectie is een landelijk blad voor studenten Kunst matige Intelligentie en andere geïnteresseerden. De Connectie wil AI-studenten laten zien wat AI is in de breedste zin van het woord door het publiceren van artikelen over AI-onderzoek en AI-nieuws. Bezoek ons online: http://www.deconnectie.com/ facebook.com/DeConnectie

Contactpersonen RU Esther Smits UvA Vacature RUG Ben Wolf UU Jelte van Waterschoot Voor de totstandkoming van dit nummer danken wij: Arnoud van der Meulen, Anton Nijholt, Sören Weber, Jordy Thielen, Ruud Barth & Luc Nies

Oplage 375. Dit nummer is tot stand gekomen dankzij de opleidingen AI aan de RUG, UU en RU KvK Utrecht 30211962 ISSN 1871-3807 Redactieadres Stichting AI-blad De Connectie Postbus 9104, 6500 HE Nijmegen

nummer 1, maart 2015

3

news Ik zie, ik zie Google Research Voor mensen is het vrij makkelijk om in een beperkt aantal woorden uit te leggen wat er op een plaatje of foto staat. Voor computers daarentegen is dit een lastige opgave. De afzonderlijke objecten die op de foto staan moeten herkend worden, en de relaties tussen deze objecten moet worden beschreven op een manier die voor iedereen te begrijpen is. Een aantal onderzoekers van Google is toch deze uitdaging aan gegaan, en heeft nu een machine-learning systeem gemaakt dat beschrijvingen kan genereren voor afbeeldingen, de eerste keer dat de afbeelding ‘gezien’ wordt. Hiervoor hebben ze gekozen voor een andere aanpak dan degenen die dit probleem al eerder hebben geprobeerd op te lossen. Veel van hun voorgangers kozen ervoor om state-of-the-art technieken in ‘computer vision’ en ‘natural language processing’ te combineren om op deze manier een beschrijving van een afbeelding te creëren. Oriol Vinyals, Alexander Toshev, Samy Bengio en Dumitru Erhan haalden hun inspiratie uit recente ontwikkelingen binnen het gebied van vertalingen gemaakt door computers; daar vertaalt

een ‘Recurrent Neural Network’ (RNN) een zin uit de eerste taal, bijvoorbeeld het Nederlands, naar een vector-representatie, en gebruikt een tweede RNN deze representatie om een vertaling in de tweede taal, bijvoorbeeld Engels, te maken. Hun plan was om het eerste RNN te vervangen door een ‘Convolutional Neural Network’ (CNN), dat getraind is om objecten in afbeeldingen te onderscheiden en classificeren. De laatste laag van het CNN wordt normaal gebruikt om een kans aan te geven dat elke voorgedefinieerde klasse van objecten in een afbeelding voorkomt, maar die wordt in dit geval verwijderd. In plaats daarvan wordt de output van het

Drone dokter TU Delft Jaarlijks krijgen 800.000 mensen in de EU een hartstilstand, 736.000 van die mensen overlijdt daaraan. Dit komt doordat de hulpdiensten vaak te lang onderweg zijn, meestal ongeveer 10 minuten. Alec Momont van de TU Delft bedacht hiervoor een oplossing: een drone met een defibril4


lator aan boord. Volgens de verwachtingen zou dit de 736.000 slachtoffers kunnen terugbrengen naar 160.000. In samenwerking met innovatieplatform Living Tomorrow ontwierp Momont, student aan de faculteit Industrieel Ontwerpen van de TU Delft, tijdens zijn afstudeerstage een prototype van zo’n drone. Een drone kan na een 112-oproep over een

CNN direct in het RNN gestopt, en wordt het geheel getraind op verschillende afbeeldingen en hun onderschriften. De tests die tot nu toe gedaan zijn op het model beloven veel goeds, het systeem is zeer redelijk in staat om beschrijvingen bij afbeeldingen te genereren. Het is de hoop van de onderzoekers dat dit soort systemen uiteindelijk blinde en slechtziende mensen kunnen helpen met het begrijpen van plaatjes, vervanging kunnen bieden voor plaatjes op internet als je bijvoorbeeld een trage internetverbinding hebt en het makkelijker kunnen maken om via Google naar afbeeldingen te zoeken.

hartstilstand een defibrillator afleveren bij de beller, en via een live video- en geluidsverbinding worden door een 112-operator instructies gegeven over het gebruik van de defibrillator; de beller kan dus ook vragen stellen aan de operator. De drone weet de beller te vinden door het signaal van de mobiele telefoon en het gebruik van GPS. Binnen een minuut kan de drone met een snelheid van ongeveer 100 km/h overal in een gebied van 12 km2 komen. Aangezien de meeste mensen die een hartstilstand krijgen al binnen 4 tot 6 minuten overlij-

news

De Connectie

RU Nijmegen Voor afasiepatiënten is het vaak lastig om op een bepaald woord te komen. Het duurt lang om met hen een gesprek te voeren, en vaak raken ze hier zelf ontzettend gefrustreerd door. Het gebeurt dan ook vaak dat afasiepatiënten langzaam in een isolement terecht komen. Peter Desain, hoogleraar kunstmatige intelligentie aan de Radboud Universiteit, en Jop van Heesch, softwareontwikkelaar bij GameTogether, bedachten hiervoor een oplossing: WoordWolk, gewoon voor op je iPad. Eind 2012 werd het idee bij de Hersenstichting gepresenteerd en won het de Kwaliteitsprijs, waardoor het gerealiseerd kon gaan worden. Het idee is simpel: er verschijnen een aanden, vergroot dit de overlevingskans aanzienlijk. Dit klinkt allemaal heel prachtig, maar helaas is het nog niet zover dat de drones ook werkelijk ingezet kunnen worden. Dit jaar wordt een wetswijziging verwacht waardoor drones autonoom mogen vliegen, dit mag nu namelijk niet. Het toestel is nog niet getest met echte patiënten en de ‘object avoidance’, die ervoor moet zorgen dat de drone nergens tegenaan vliegt, moet ook verbeterd worden. Momont denkt dat dit binnen de komende vijf jaar

tal woorden op je iPad. Je raakt het woord aan dat het meeste overeenkomt met het woord waar je niet op kunt komen, en een

nieuwe wolk verschijnt, deze keer met de woorden die het meest geassocieerd worden met het gekozen woord. Op deze manier kun je uit een verzameling van on-

geveer 2.000 woorden een woord vinden in minder dan twintig stappen, vaak zelfs in minder dan tien! In eerste instantie werd gedacht aan een opzet die vergelijkbaar is met het spel ‘Wie is het?’, waarin met een beperkt aantal vragen een persoon moet worden geïdentificeerd. Je begint dus met zo algemeen mogelijke vragen, bijvoorbeeld ‘is het een man?’, ‘draagt hij/zij een bril?’. Hoe verder je in het spel komt, hoe specifiekere vragen je gaat stellen, bijvoorbeeld ‘is het Alfred?’. Dit zorgde er echter voor dat de gebruikers een gevoel van controle misten, zij konden zelf geen invloed uitoefenen op welke of wat voor vragen er gesteld werden. Het is echter niet zo dat dit hele idee geschrapt is, er zitten elementen van deze opzet in de uiteindelijke app. De meest algemene woorden verschijnen het eerst in beeld. Hoe langer je bezig bent met het zoeken van een woord, hoe specifieker ze worden. Op het moment wordt de app nog getest met de eindgebruikers, om te zien in hoeverre mensen met afasie werkelijk iets aan WoordWolk hebben. Daarnaast wordt anoniem informatie verzameld over hoe mensen gebruik maken van associaties, dus ook mensen zonder afasie kunnen iets bijdragen aan de app, simpelweg door hem te gebruiken.

gerealiseerd kan worden. De medische wereld heeft al aangegeven geïnteresseerd te zijn in het uiteindelijke product. In samenwerking met het Universitair Ziekenhuis en de Universiteit van Gent zal het prototype verder ontwikkeld worden. De uiteindelijke ambulance-drone zou naast een defibrillator andere medische apparatuur en gereedschap aan boord moeten krijgen, zodat hij niet alleen gebruikt kan worden bij hartstilstanden, maar ook bij andere ongevallen.


5

Arnoud van der Meulen, Rijksuniversiteit Groningen

Developing a pilot for finding evidence accumulation in memory-based tasks Cliched though it may be, when I first started studying Artificial Intelligence, I chose to do so due to the diversity the degree programme has to offer. As my aim with Artificial Intelligence has always been to keep this diversity a part of my studies, I have always been in doubt about for example the choice for my Master's (and in extension, my specialization). Since I have never had any problems with most of the psychological topics and have always had a relatively hard time with the Computing Science side of AI, I had decided to take the ‘stubborn' approach to learn as much as possible and go for the AI specialization and the AI master, as opposed to what one might expect. A question that may come to mind then, is: if you chose the AI specialization, why would you opt for a bachelor's thesis that seeks an explanation for a brain process, instead of opting for a more programming intensive project? The simple reason is one that I have already given: to keep up with the diversity in my degree programme. After all the tech talk, I felt it was time to satisfy my interests in the human mind, with one of my areas of interest being human reasoning. As such, when I heard that there was a bachelor's project about investigating evidence accumulation in the human mind (a project that seemed fairly simple, was psychological and definitely investigated human reasoning), my choice was clear. The question that I asked myself in my bachelor's thesis was one from the topic of neurology. Previous studies have shown that the brain accumulates evidence before it makes a certain decision [1]. An example of this is found in the distinction of faces. Suppose you see a photo of a friend on Facebook.: if you find another photo on Google and wonder whether it's the same friend, the brain starts a decision making process using this socalled evidence accumulation. If a certain threshold is reached, a decision is made about whether this friend is indeed the same friend as from the Facebook photo. This example of evidence accumulation is what we would call a perceptual decision making process. In this type of processes, it is certain that evidence accumulation occurs [1]. What had always been assumed, but had never been explicitly investigated, is whether the same also holds for processes that involve memory. My supervisor and I decided that this would be a nice topic 6


to tackle, as it just so happened to be that her PhD student was also working on the topic. One might wonder what a good approach to tackling this topic is. The approach we chose is to compare a perceptual decision making task with a memory task. This c omparison could be made by using EEG data of both the perceptual and memory tasks, specifically data of the frequencies that are often paired with evidence accumulation processes, the 4-9 Hertz theta band [2]. While it is generally reasonable to pilot most experiments, piloting before testing held some extra importance in this case: EEG participants are fairly expensive, around 25 euros for each participant. The pilot experiment consisted of two different tasks that the participant had to perform. Firstly, participants were shown two faces, and they had to decide whether these faces were the same. The second task the participants had to perform was deciding whether the third face he or she was shown, was in a previously shown set of two faces. In order to be useful for EEG research, both tasks had to have similar performance scores from the participants. To pilot the experiment, we had to look at a few factors. First of all, the performance had to be around 70-80%. Since we used a simple decision task (with the answers 'yes' and 'no'), a result of 50-60% would have indicated the participants were simply guessing. As we wanted to be sure the participants are actively understanding and performing the task in order for us to be able to make the comparison, a rate around the guess rate was obviously not cutting it. Furthermore, in order to get any results from the pilot whatsoever, the task performance also had to be below the 90-100%, in order to prevent ceiling effects. If it was uncertain if the tasks actually required the effort of evidence accumulation in the first place, we would obviously not be able to compare the results. Two other factors that were looked at were whether the reaction time plots made sense and whether the similarity in the faces had the results one would expect from such similarity. As we were dealing with a standard decision making task, the reaction time plots that were expected should fit a normal distribution,

evidence accumulation De Connectie

Figure 1: An example of a perceptual decision making task. In this experiment the participant should decide whether the two faces are different or an exact mirrored copy. This example is considered a hard example, with only one alteration of the in total three parameters

with a skew to the right. The skew to the right can be explained by a certain decision threshold: in order to make a sensible decision, participants have to have at least accumulated a certain amount of evidence. If however, the attention of the participant dwindles during the experiment, or the participant decides to take a little more time to be certain of his or her decision, the reaction time increases, thus causing a skew to the right of the reaction times plot. The third factor, similarity, was a factor that my supervisor and I thought of during the project. In order to check whether the experiment was internally consistent with the theory, we explored a concept known as the face space [3]. This face space provided us with a 3D model to use in our experiment. It allowed us to generate faces using differences in three aspects, all three measured in three settings of standard deviations. These standard deviations allowed us to calculate 27 (33) categories of accuracies for the faces. The standard deviations also allowed us to adjust the difficulty of the task, something which proved useful when the initial pilot for the memory task showed accuracy ratios of around 60%, which was considered too low of an accuracy. The categories for the generated faces were measured in the euclidean distance, defined by the standard deviations of the three aspects. This lead to a reduction in the amount of categories, as it can be assumed a similar euclidean distance leads to a similar effect in the decision making process [4]. By checking for the differences between the times a participant answered 'yes' or answered 'no', we were able to look at the expectations of the participant in the case the answer really was 'yes' or 'no'. One of the simpler conclusions from this process was, for example, that as the euclidean face distance in our perceptual task grew, participants were more likely to answer 'yes'. This fits with what you would expect: as the faces are more different, participants are more likely to accurately decide whether the faces are indeed different since the task is simpler.

When our new pilot turned out to be consistent, we could finally look at performing EEG on the experiment. To be fair, this was the most interesting part of my project. The sessions were between 1.5 and 2 hours long, since the experiment took about 60 minutes and the preparation for EEG took about 30 minutes for each participant. What I learned there was a truly new skill for me: working with EEG is not part of the standard AI programme. The sad part about this is that the fixed time that a bachelor's project is supposed to have did not allow me to do any useful analysis of the EEG results themselves. While we did develop a successful pilot and I ran the EEG-tests, I was not able to perform the EEG analysis looking for the neural correlates between the perceptual and the memory task. In the end, performing a bachelor's project in the psychological category proved to be fruitful for me: I learned how to work with EEG and I tackled the research skills that I would have otherwise have not learned in my Artificial Intelligence track. I learned how to develop a successful pilot for future research. It did, in all fairness, not match my expectations: I managed to get a lot less work done than I had hoped. I still think it was a good decision to take the project, though: using the diversity the AI programme offers allows me to learn a manifold of skills. REFERENCES [1] Ratcliff, R. (1978). A theory of memory retrieval. Psychological Review, 85 , 59-108. [2] Van Vugt, M. K., Simen, P., Nystrom, L. E., Holmes, P. J., & Cohen, J. D. (2011). Eeg oscillations reveal neural correlates of evidence accumulation. Cognitive Science Society. [3] Blanz, V., & Vetter, T. (2003, sept.). Face recognition based on fitting a 3d morphable model. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 25 (9), 1063 – 1074. [4] Kahana, M., & Sekuler, R. (2002). Recognizing spatial patterns: A noisy exemplar approach. Vision research, 42 (18), 2177-2192.

nummer 1, februari 2015

7

Anton Nijholt, Human Media Interaction, Universiteit Twente, [email protected]

Brain-Computer Interfacing: Wegen naar de Toekomst Een aantal jaren geleden besloot de Europese Unie (EU) dat er een Roadmap moest komen voor BrainComputer Interfacing (BCI) onderzoek. Wat voor soort onderzoeksgebieden zouden moeten worden onderscheiden, wat voor soort onderzoek zou moeten worden geïnitieerd en waar zou financiering van onderzoek zich op moeten richten? Een consortium van onderzoeksteams werd op dit onderwerp gezet. Het consortium bestond uit onderzoeksgroepen van de Universiteit Twente, EPFL (Ecole Polytechnique Federale de Lausanne) Lausanne, Graz University of Technology, en StarLab Barcelona.

kunnen vaak niet zelfstandig een BCI gebruiken. Er is hulp nodig bij de keuze, het kopen, het gebruik en het onderhoud van de BCI. Dat geldt ook in het geval van reparaties en het aanschaffen van verbeterde versies.

In 2012 verscheen het rapport van dit consortium . Een allesomvattend rapport van meer dan 250 pagina’s met de ‘state-of-the-art’ weergave van BCI, de uitdagingen, en ethische kwesties. Het rapport onderscheidde een aantal aandachtspunten:

Standaarden & Beeld: De BCI gemeenschap heeft behoefte aan standaardisering, zoals bestandsformaten, protocollen voor data-uitwisseling, ethische procedures, hoe te rapporteren en hoe om te gaan met de media. In de populaire media worden BCIs eigenschappen toegekend die niet waar te maken zijn. Ook is er sprake van negatieve eigenschappen die tot angst leiden, bijvoorbeeld zorgen rond privacy als ‘gedachten’ kunnen worden gelezen.

Betrouwbaarheid: We willen dat BCI altijd en overal te gebruiken is. Met weinig of geen voorbereidingstijd, onderhoud, ongemak of nazorg. Op dit moment is dat niet het geval. Vermoeidheid bij de gebruiker, achtergrond-ruis, andere, gelijktijdige activiteit van de gebruiker, zorgen voor problemen bij het interpreteren van hersenactiviteit. Competentie: Wat voor BCI benadering dan ook (P300, SSVEP, ERD ), we moeten leren omgaan met een percentage van gebruikers die niet in staat zijn toepassingen te controleren met BCI. Bandbreedte: BCIs zijn langzaam, bijvoorbeeld 60-100 bits per seconde in laboratoriumsituaties met getrainde gebruikers. Dat wil zeggen, in niet-realistische omstandigheden. Er is weinig vooruitgang. Gemak & Ondersteuning: Er is geen sprake van dat we een BCI sensorappa-raat zo uit de kast kunnen trekken, kunnen opzetten en gebruiken. Het kost tijd om de elektroden op de juiste plaats te krijgen en actief te laten worden. Na gebruik, afhankelijk van de apparatuur, moet er schoongemaakt worden. Gebruikers 8


Training & Bruikbaarheid: Sommige zinvolle toepassingen van BCI gebruik vereisen weken of maanden van training. Die training kan vervelend, demotiverend en geestdodend zijn. Vaak is een BCI gericht op een bepaalde toepassing. Een meer ideale BCI zou het mogelijk moeten maken gemakkelijk van toepassing te veranderen.

Infrastructuur: De BCI gemeenschap heeft behoefte aan ‘resources’ die het mogelijk moeten maken om ‘beginners’ toegang te geven tot vrij beschikbaar software gereedschap, documentatie en help, downloadable data en gereedschap om het te verwerken, en een bibliotheek met download adressen, artikelen en andere informatie. Deze lijst van aandachtspunten is natuurlijk ook meteen een lijst van knel-punten en uitdagingen voor toekomstig (en door de EU te subsidiëren) onderzoek. Er moet gezegd worden dat het om globale aanbevelingen gaat. Niks mis mee, maar moeilijk te converteren naar korte –termijn aanpakken als je niet bekend bent met het onderzoeksdomein. Om een voorbeeld te noemen, aanbevelingen op het gebied van het inbedden van een BCI interactie modaliteit in multimodal BCI toepassingen waarbij context, HCI en AI kennis geïntegreerd aanwezig zijn komen niet aan de orde.

brain computer interfacing De Connectie

Terugkerend naar het rapport, hoewel er aanbevelingen waren op ieder van die punten was er bij de EU toch behoefte aan meer concrete aanwijzingen wat betreft richtingen van toekomstig onderzoek. Vandaar de start van een nieuw door de EU gefinancierd project, onder de naam BNCI Horizon 2020, mede genoemd naar de Horizon 2020 stimuleringsronde van de EU. Dit is een kleinschaliger project met meer partners (Universiteit Utrecht en Universiteit Twente vanuit Nederland) en bedoeld om voor een iets langere termijn met meer concrete aanwijzingen te komen. Vandaar een opzet die wat dichter bij de huidige praktijk van BCI onderzoek staat, zoals uit onderstaand figuurtje valt op te maken. De volgende zes aandachtspunten worden onderscheiden. VERVANG (Replace) Een BCI kan een aansturing van een natuurlijke functie, in een normale situatie aangestuurd door het centrale zenuwstelsel, maar bijvoorbeeld door een ongeluk of kwaal verloren gegaan, vervangen. Je kunt daarbij denken aan communicatie via een BCI speller of de controle van een rolstoel. HERSTEL (Restore) Het herstellen van een aansturing via het centrale zenuwstelsel. Bijvoorbeeld via stimulatie van spieren bij een verlamd persoon. VERBETER (Improve) Het verbeteren van normaal door het centrale zenuwstelsel aangestuurde functies. Een voorbeeld is het gebruik van BCI bij rehabilitatie volgend op een beroerte. Signalen van een beschadigd hersengebied kunnen gedetecteerd en versterkt worden voor het stimuleren van armspieren of een orthese voor het verbeteren van armbewegingen. UITBREIDEN (Enhance) Het uitbreiden van functies van het centrale zenuwstelsel. Bijvoorbeeld het monitoren van hersenactiviteit gedurende langdurige veeleisende taken, zoals tijdens autorijden, en het detecteren van perioden van onoplettendheid om vervolgens de bestuurder te waarschuwen.

TOEVOEGEN (Supplement) Het aansturen van toepassingen (bijvoorbeeld een robotarm of een joystick) die de gebruiker extra mogelijkheden geeft om goed of beter te presteren. ONDERZOEK (Research tool) BCI kan gebruikt worden als onderzoeksge-reedschap bij klinische en niet-klinische studies. Het project wordt voornamelijk ‘bemand’ door onderzoeksgroepen die uit de medische hoek komen. Als je vanuit de Artificial Intelligence (AI) of uit de HumanComputer Interaction (HCI) naar BCI kijkt dan is het duidelijk dat allerlei invalshoeken wellicht wel in het raamwerk te passen zijn, maar ook dat het raamwerk daar niet toe uitnodigt. Een duidelijke tekortkoming dus. Vanuit HCI oogpunt willen we weten hoe een gebruiker omgaat met een bepaalde interface. BCI kan aangewend worden om mentale werklast te meten en op grond daarvan het ontwerp van de interface te veranderen. BCI kan aangewend worden om ‘real-time’ te meten wat de gebruiker ervaart, inclusief zijn of haar emoties [1], en op grond daarvan de taak, de interactiemogelijkheden en de omgeving aan te passen aan die ervaring. Meer in het algemeen, als we kijken naar toepassingen die niet zozeer gericht zijn op efficiëntie (dat wil zeggen, bevordering van kwantitatief meetbare prestaties), maar meer op hedonistische ervaringen [2] (zo langzamerhand ook meetbaar), dan is het moeilijk een plaats aan te geven in het gehanteerde raamwerk. Dat is evenzo het geval als we niet zozeer nummer 1, maart 2015

9

Anton Nijholt, Human Media Interaction, Universiteit Twente

kijken naar het ‘monitoren’ van hersenactiviteit waarbij de gebruiker slechts een passieve rol speelt, maar naar de rol van de gebruiker als een bewust actieve deelnemer in een toepassing. Om een voorbeeld te noemen, een aantal jaren gelden introduceerden we BCI in het World of Warcraft (WoW) spel [3]. WoW is een internetspel met talloze gebruikers en de mogelijkheid om een omgeving te verkennen, een rol te spelen, te communiceren met medespelers, en, soms al strijdend met tegenstanders, hogere en meer interessante niveaus in het spel te bereiken. Hoe kunnen we BCI in zo’n spel aanwenden? Het raamwerk nodigt niet uit daar over na te denken. Aan de andere kant, het spel zelf vraagt aan de gebruiker (door middel van muis en of toets clicks) om een agressieve of een relaxte houding aan te nemen in het spel. Afhankelijk van de gekozen houding heeft de ‘gamer’ de mogelijkheid het spel meer of minder naar zijn hand te zetten. Hier kunnen we ook BCI laten bepalen wat de gamer ondergaat. Is zijn agressiviteit te meten en kunnen we op grond daarvan hem of haar extra mogelijkheden aanbieden of juist zijn of haar mogelijkheden in het spel in de interactie met tegenstanders beperken? Evenzo kunnen we kijken naar directe (BCI) communicatie tussen speler en spel, dat wil zeggen, hoe kunnen we spelers de mogelijkheid geven hun bewust gemanipuleerde hersenactiviteit aan te wenden voor het controleren van een game? Waarbij we enerzijds met bewust bedoelen het aanwenden van cognitieve activiteit (denk aan het uitvoeren van een beweging met een lichaamsdeel, denk aan een rotatie van een object, voer een complexe berekening uit, probeer je iets te herinneren). Aan de andere kant, met bewust bedoelen we ook dat de omgeving (het spel, de virtuele omgeving) signalen afgeeft die hersenactiviteit ‘triggeren’ en die daardoor spel en omgeving de gelegenheid bieden om de getriggerde activiteit te vertalen naar een actie in het spel. Duidelijk is dat het gehanteerde raamwerk niet uitnodigt om in dergelijke termen over BCI te spreken en te gaan nadenken. Daarbij komt dat het raamwerk niet uitnodigend is wat betreft nieuwe toe-passingen van BCI. Hoe kunnen we producten, entertainment toepassingen, interactieve kunst en andere omgevingen ontwerpen met meerdere gebruikers die gebruik maken van BCI[4,5]? Hoe kunnen we BCI als mogelijke inputfaciliteit combine10


brain computer interfacing De Connectie

ren met andere modaliteiten? En waar doen we dat: op het niveau van signalen, eigenschappen of beslissingen? Hoe kunnen we BCI ‘embedden’ in multimodale toepassingen [6]? Kunnen we BCI toepassen in omgevingen waarbij mensen ‘real-time’ hun ‘performance’ moeten bloot geven of hun via BCI te meten mening of gevoelens over een bepaald bijgewoond of meegemaakt ‘event’ openbaar te maken? Met andere woorden, er is sprake van een raamwerk dat leidt tot een zeer traditioneel-conservatieve kijk op BCI, BCI toepassingen en BCI ontwikkelin-gen. Dat is jammer, maar als gevestigde belangen verdedigd moeten worden niet altijd ontkoombaar. En, natuurlijk vanuit de meer avontuurlijke human-computer interaction hoek (zie ook de referenties hieronder) gaan we natuurlijk door met BCI onderzoek en toepassingen die passen binnen het hedendaagse multimodale mens-computer interactie onderzoek, met aandacht voor onderwerpen die passen binnen ambient, pervasive, tangible, affective en entertainment computing. REFERENCES [1] C. Mühl, G. Chanel, B. Allison, A. Nijholt. A survey of affective brain com-puter interfaces: principles, state-of-theart, and challenges. Brain-Computer Interfaces 1(2), 2014, 66-84. [2] H. Gürkök, A. Nijholt. Brain-computer interface games for hedonic experiences. SPIE Newsroom, International Society for Optics and Photonics, June 2013, 1-2. [3] D. Plass-Oude Bos, B. Reuderink, B. van de Laar, H. Gürkök, C. Mühl, M. Poel, A. Nijholt, D. Heylen. BrainComputer Interfacing and Games. Chapter 10 in: BrainComputer Interfaces: Applying our Minds to Human-Computer Interaction. D. Tan & A. Nijholt (Eds.), Springer, 2010, 149-178. [4] A. Nijholt. Competing and Collaborating Brains: MultiBrain Computer Interfacing. Chapter in: Brain-Computer Interfaces: Current trends and Applications. A.E. Hassanieu and A.T. Azar (Eds.), Intelligent Systems Reference Library series, Springer, 2014, to appear. [5] H. Gürkök, A. Nijholt. Affective Brain-Computer Interfaces for Arts. 5th Conference on Affective Computing and Intelligent Interaction (ACII 2013), A. Nijholt, S. D'Mello, M. Pantic (Eds.), IEEE Computer Society, 2013, 827-831. [6] H. Gürkök, A. Nijholt. Brain-computer interfaces for multimodal interac-tion: a survey and principles. International Journal of Human-Computer Interaction 28(5), 2012, 292-307.

robots in de zorg De Connectie

robots in de zorg niet zonder zorg De zorg staat door de toenemende vergrijzing, slinkende budgetten en steeds grotere mogelijkheden onder druk. Is robotica een deel van de oplossing? En zo ja, moeten we dat willen? Drie experts van de Radboud Universiteit in Nijmegen geven een kijkje in de toekomst en bespreken de haken en ogen. De voordelen van robotica in de zorg liggen voor de hand. Het ontlast drukbezet zorgpersoneel en kan een oplossing zijn voor de almaar groeiende zorgvraag. De Radboud Universiteit en het Radboudumc tonen tijdens een discussieavond in het Nijmeegse theater LUX dat er ook nu al volop mogelijkheden zijn. Van de knuffelzeehond Paro, die eenzame bejaarden als 'huisdier' gezelschap kan houden, tot de robot als fitnessinstructeur.

Niet òf, maar wanneer “Het is niet de vraag òf we meer robots in de zorg gaan zien, maar hoe, wanneer en waar precies”, stelt Pim Haselager, docent Kunstmatige Intelligentie aan de Radboud Universiteit. Er zijn grofweg drie soorten robots. De robot die ingezet wordt bij operaties, de servicegerichte robot en de 'sociale' variant. Over de eerste twee is relatief weinig discussie. Bij de sociale robots die een 'buddy' worden, ligt dat anders. Lucien Engelen, directeur van het Radboud Reshape Centre vindt veel van de hedendaagse technologieën in de zorg nog geen robots. “Vaak zijn het hulpmiddelen die het werk van een zorgverlener weliswaar makkelijker maken, maar nog steeds aangestuurd moeten worden door een persoon. Vaak gaat het om remote healthcare. Het wordt pas echt interessant als apparaten zelf denken en handelen.” Dat is volgens Engelen een kwestie van tijd. De robots zoals Engelen ze in de gezondheidszorg graag ziet, hebben geen armen en benen. Soms zijn ze zo klein dat ze met het blote oog nauwelijks te zien zijn. “In de toekomst krijgen we kleine nanobots die in onze bloedvaten de troep op komen ruimen. Die werken geheel zelfstandig en zullen iets gaan doen wat nu nog niet kan. Daar zal de échte winst te behalen zijn.”

Ethische kanttekening Volgens Khiet Truong, onderzoeker Human Robot Interaction aan de Radboud Universiteit is robottechnologie een manier om aan 'de vraag' van ouderen te voldoen. Zorgrobotica kan niet alleen ingezet worden als hulpmiddel bij revalidatie of het uitvoeren van huishoudelijke taken, robots kunnen ook een positief effect hebben op de mentale toestand van ouderen, verwacht zij. Met name in social robotics kunnen er stappen gezet worden in het beter begrijpen van menselijk affectieve en sociale intelligentie. Een mogelijke kanttekening is ethisch van aard. In hoeverre is het gewenst dat we mensen het gevoel geven dat de robot meeleeft en dat de robot emoties kan aanvoelen? Want een robot voelt natuurlijk niet echt mee en heeft ook geen echte gevoelens - het blijft ‘mechanisch'. 'Foppen' we (relatief kwetsbare) mensen niet een beetje?

Geen valse verwachtingen Haselager tempert de verwachtingen met betrekking tot sociale robots. “Het blijven robots; ze hebben geen gevoel, geen emotie en geen gezond verstand.” Sommige mensen zullen zeker baat hebben bij een sociale robot, erkent hij. “Hoe beperkt ook, een eenzame bejaarde heeft meer interactie met een robot dan met een televisie.” Maar hij waarschuwt voor valse verwachtingen. “We moeten ervoor waken dat economische belangen de kwalitatieve invulling van zorg niet gaat overheersen.”


11

Sören Weber

Hack the Brain I was lucky to attend the first Hack The Brain, a yearly hackathon in Amsterdam that is organized by different organizations and companies with focus on science, culture or technology. In a hackathon participants work in groups on specific projects while the organizer often provides room, food and access to knowledge which allows for an intense collaboration in a short period of time. Accordingly, the event's goal was to get scientists, creatives and technologists to explore the possibilities of Brain Computer Interfaces in an interdisciplinary way. The organizers provided BCI hardware to the participants, comprising TMSi Mobita, Emotiv EPOC and Interaxon Muse. These devices differ in their measuring precision, their ability to record multiple channels at once and their shape - which influences which locations could be read and in which contexts it would be usable. While a team working on sleep analysis could use a system that can cover many locations on the scalp, a team focused on everyday life applications might be highly constrained in the type and precision of their data. 12


The ideas that were worked on explored the possibilities of this technology in diverse and creative ways, ranging from brain theremins to 3D printed brain wave features, from data visualization in Virtual Reality environments to automatic recording triggers for Google Glass. The winning team based their work on a publication that suggests that applying a mild electrical current to a subject's scalp while in REM sleep enhances the chance that the subject will dream lucidly, i.e. be aware of being asleep and having some control over the contents of the dream. To do so, the team built the stimulation hardware themselves and used their EEG to monitor sleep states.

Our project One team, consisting of an open-source hacker, a PhD candidate in Psychology and myself (software engineer by trade and Cognitive Science student) wanted to explore the feasibility of using BCI to authenticate users against computer systems. The lofty goal was to build the basis of a modular and free software training and validation system that could even be plugged into authentication subsystems of

Operating Systems. The central part of the system would be a task that a user has to perform in order to prove that the user's brain exhibits similar responses to similar stimuli compared to recordings in the past. Of course, this application of EEG data is nothing new in science. So our first task was to narrow down existing literature to find a proposed solution that is simple enough to understand and implement in the short time frame of a weekend. Eventually, we knew which tasks should be feasible to use (e.g. imagined visual counting, imagined visual rotation, imagined limb movement or simply resting, eyes closed) and which statistical methods we could use to train and classify the data (a Linear Classifier). The literature we chose also explained a variety of features of the data that could be used to \fingerprint" the subject's brain. We experienced a wonderful mix of frustration and relief when our scientific advisor (Jason Farquhar, Donders Institute) told us that all the seemingly different features we wanted to extract were essentially just one: power of frequencies over time. The authors of the publication

hack the brain De Connectie

we used essentially measured the same thing but applied it in different ways (e.g. in comparing the power of frequencies between both hemispheres of the brain) that would be redundant for our classifier, an approach our advisor affectionately referred to as \kitchen sink statistics". It made our task much simpler but didn't give us back the time we put into outlining when and how to implement the analysis of these \different" features. The software stack of our project consisted of emokit (an open source driver for the Emotiv EPOC which provides access to the device's raw data stream for which you would otherwise have to buy a Software Development Kit) and buffer bci (a MATLAB/Octave based BCI framework). Unfortunately, we had some initial problems in getting this software ready for data acquisition since all of our team members used quite similar systems that raised compatibility issues. I learned an important lesson for the next hackathon from this: it's quite important to already know the software you want to use and ensure that it runs on at least one system. The data acquisition was another part of our project we underestimated. For us, having contact with EEG data but not with the hardware, it was quite time consuming to set the device up correctly - including soaking electrode sponges in saline solution and then readjusting individual electrodes to get a good signal. As it also seems quite probable that our measured features would change over time and headset position, good data acquisition would involve recording on multiple days and many repeated set-ups on the scalp. The interested reader might be able to foresee the next time-consuming part that wasn't simple as well. Using our potentially gathered data we would have to train a classifier that would be able to identify a certain person by data generated at a later time. To do so, we read up on that top-

ic and created plans on how to implement a linear classifier for our data in the MATLAB environment. After investing a good hunk of our time into doing this, we learned that (unsurprisingly) most of the work has already been done in the buffer bci project - in most cases even offering a documented usage example. The difficulties we faced made it impossible for us to realistically test our idea in the context of the hackathon. In the end we were able to build a maybe-proof-ofconcept that was able to distinguish a person from a dead brain or the noise of an unattached headset. Slow progress also prevented us from being able to hack our hack: when we are able to show that our system can reliably authenticate a person, we would like to build a neuro-feedback system that trains the user to match their exhibited signals to another person (which should be possible to some extent if the system only looks at frequency power). We decided to learn from our experiences at Hack The Brain and try to bring the project to a basic but extensible state and open its source code. While we're not really sure about the practical gain of security using this method, we're still sure that there may be many interesting applications for this idea. For example, it could be extended into a permanent authentication process, in which the user wouldn't perform tasks, but the system would constantly use visual/auditory input and EEG output to train its classifier and lock the workstation if the recorded data differs too heavily from the logged-in person.

Conclusion

ductive and personal atmosphere and it feels like events like this one could be used in wide variety of areas, not just computerfocused goals. It seems to be a straight-forward way to engage many people at once in solving a problem or approach a topic in creative ways. As I attended the first iteration of this hackathon there were still some small ways in which it could and most certainly will improve. For example, the event's venue had to close at night, arguably the most productive time of day for a hacker. Also, as someone who mainly visits hacking events in Germany, I experienced a slight culture shock when I learned that there was no ClubMate available, arguably the most delicious and arousing drink for this kind of situation. In almost any other aspect the event was organized very well. Especially the group of people helping out with technical or scientific knowledge was well-staffed and by that a good foundation for all participants to advance from. If you think you would like to work intensively in a team for a few days and build something in an interdisciplinary way, I'd highly recommend to mark this event for next year! As a final remark for people interested in this topic, I'd like to bring up OpenBCI, which is a successfully funded project that will provide an Open Hardware and Open Software EEG in the next weeks. To my knowledge this will be the first system of its kind and will probably gain a big community of people with very different backgrounds.

This was the first hackathon I actively participated in and I feel lucky having learned some important lessons for the next one. Familiarity with used tools and a precise plan of how goals can be accomplished will of course save a great amount of time and leave more space for other unexpected obstacles. I very much enjoyed the pronummer 1, maart 2015

13

Jordy Thielen, Radboud Universiteit Nijmegen

Broad Band Visually Evoked Potentials: Towards Enhanced Speller BCIs Brain-Computer Interfaces (BCIs) add an additional channel to the brain that can be used for communication and control. This additional channel requires brain activity only, hence it is bypassing the peripheral nervous system. A BCI is commonly set up to allow sending multiple commands sequentially (van Gerven et al. (2009)). Normally the cycle starts by a specific stimulation paradigm to encode specific task-related information in brain activity. Though, also internally generated brain activity that is task related can be used to control a BCI (e.g., imagined movement). During

encoding, the brain activity is commonly measured by recording the electroencephalogram (EEG) from the scalp, which makes the BCI non-invasive and practically easy to use. A computer interprets the measured brain activity following several pre-processing steps to clean the data. Machine learning techniques are applied to learn the task-related and subject-specific brain activity. With these means the computer can decode the brain activity and detect the user’s intention. This prediction is usually also fed back to the user, after which a new cycle starts.

bci speller De Connectie

One application of BCI is the Speller BCI, first proposed by Farwell & Donchin (1988). In the classical BCI speller a grid structure is presented to the user, with a character in each cell – the Matrix Speller. The user has to overtly attend the character of interest, while rows and columns are being flashed sequentially in random order. Whenever the row or column that contains the character of interest is flashed, a so-called P300 response is evoked. The computer is trained to recognize this Event Related Potential (ERP) and hence can discriminate between targets and non-targets. Because the sequence of row-column stimulation is known for each character, the computer can decode the user’s intention by correlating the recognized target pattern with the stimulation patterns. With more sophisticated stimulation sequences, stimulation properties and machine learning techniques, the Visual P300-based Speller BCI achieved an Information Transfer Rate (ITR, according to the Wolpaw formulation, see Kronegg et al. (2005)) up to 28 bits per minute (Townsend et al. (2012)). Although, the advantage of using BCI over common devices (e.g., keyboard, mouse) remains limited for healthy users, patients that lost control over their muscles benefit extremely. Several diseases like brainstem stroke can cause the Locked-in Syndrome, in which patients are totally aware of their surroundings but cannot interact with it anymore due to severe damage to their motor system. Amyotrophic Lateral Sclerosis (ALS) receives much attention in BCI literature. ALS is a progressive motor disease, in which patients loose the ability of muscle control rapidly, until the stage of Complete Locked-in Syndrome. Though, cognitive functioning is not impaired and hence brain activity provides a suitable way to allow these patients to control devices or communicate again. Because an ITR of 28 bits per minute roughly yields a speed of only 5 characters per minute, other paradigms have been explored. Many studies have investigated the Steady-State Visually Evoked Potential (SSVEP), which is a response evoked by periodic stimulation. In this paradigm, the grid of characters is not flashed in a row-column fashion, instead, each character is encoded with a specific frequency. Moreover, each character is flashing at a specific unique frequency, which, if attended, can be directly found back as increased power at the same frequency in brain activity. In the literature this method is referred to as fre-

quency tagging. So far, the highest reported ITR for SSVEP-based Speller BCIs equals 68 bits per minute 1(Gao et al. (2003)). In terms of communication of characters this amounts for 12 characters per minute, hence communication speeds are more than doubled compared to the P300-based Visual Speller. Still, the SSVEP-based Speller lacks robustness because of subject-specific sensitivity profiles to frequencies. Yet another paradigm has been studied, which makes use of broad-band signals that evoke Broad-Band Visually Evoked Potentials (BBVEP). In the BCI literature this stimulation paradigm has become known as noise-tagging as the underlying stimulation sequences have a noise-like characteristic. More specifically, the bit-sequences (i.e., on-off flashes) are called pseudorandom noise codes. These exhibit a known random distribution of ones and zeros (Golomb et al. (1982)). In literature so called Maximum-length sequences (m-sequence) have been proposed as stimulation sequence first by Sutter (1992). Here, each cell was flashing with a time-shifted variant of one m-sequence, as these codes are characterized by having a minimal autocorrelation, except at the zero-lag. With more sophisticated analysis techniques this has resulted into ITR up to 144 bits per minute (Sp¨uler et al. (2012)). Compared to the SSVEP-based speller this again improved the communication speed to an amount of roughly 29 characters per minute, again a doubled performance. In a recent study we explored BBVEPbased Speller BCI by using another family of pseudorandom noise codes (Thielen et al. (in prep.)). More specifically, each cell was flashing with a specific Gold Code (Gold (1967)). One Gold Code is generated by xor-ing a preferred pair of m-sequences. An entire set of Gold Codes can be generated by xor-ing the one m-sequence with a delayed version of the other. We modulated the entire set by a Phase Shift Keying like procedure, which basically replaces each 1 with 01 and each 0 with 10 (Rappaport (1996)). This reduced the power in the lower part of the spectrum, which would be perceived as visual flicker. In addition, all bitsequences now comprise only of runs of length 1 or 2. Basically one can state that the bit-sequences consist of a short flash (one one) and a long flash (two ones). Hence, we can also state that we can decompose the bit-sequences to the individual flashes. By linear summation of all these compartments, we get back the original sequence. The same procedure can be applied to EEG responses on these bit-sequences. More specifinummer 1, maart 2015

15

Jordy Thielen, Radboud Universiteit Nijmegen

Figure 1: An illustration of re-convolution. Bit-sequences can be decomposed to a sequence of short and long pulses. In a similar way we can deconvolve the EEG response according to the underlying bit-sequences. The estimated pulse responses can then be used to predict any other (unseen) sequence (i.e., convolution)

cally, by decomposing the responses according to the underlying bitsequences (regarded as a sequence of delta-pulses), we can estimate the short and long pulse response. By linear summation of these pulse responses, time-shifted according to the underlying bitsequences, we can find an estimate of the response to the entire bit-sequence (for an illustration, see Figure 1). Recall that all codes were modulated and thus 16


all comprise only a short and long flash, it is possible to predict responses to bit-sequences that are not yet seen. Therefore, it was possible to predict the responses to an entire set of Gold Codes, in this case containing 65 bit-sequences (we call this procedure re-convolution). Because the speller only required a selection of 36 codes as there were only 36 cells (a 6 by 6 grid), an optimization algorithm was defined that selected

bci speller De Connectie

the subset of codes that contained the least maximum cross-correlation. Afterward, we optimized the allocation of the codes to the grid layout in such a way that responses to neighboring codes correlated least. Classification was then performed by a simple correlation measure between single-trial and the predicted responses (i.e., templates). This correlation was maximized to obtain a class label (i.e., choose the template that most resembles the single-trial). With this pipeline a performance of 86 percent was reached on trials of 4.2 seconds (n=12), which account for an ITR of 56 bits per minute. In the pipeline above, trials were recorded for 4.2 seconds always, on which the classifier made the decision. Some participants reached performances up to 100 percent, suggesting less data could have been sufficient to make a reliable prediction. By applying an early stopping algorithm, the classifier performed an output whenever it was confident. Moreover, the classifier was applied each 100 milliseconds, with a forced stop at 4.2 seconds. Confidence was based upon learned threshold margins defined as the difference between the best and second best correlation between singletrial and templates. On average classification performance was not reduced and remained at 86 percent, but now with trials of 3.2 seconds on average, yielding an ITR of 87 bits per minute. For the best participant, this pipeline achieved 97 percent correct classification with averaged trial lengths of 1.44 seconds, which is an ITR of 201 bits per minute and amounts for 39 characters per minute. To conclude, with this short overview of current advances in Visual Speller BCIs, the BBVEP is proven to be robust and reliable. Because a generative model was defined, even responses to unseen bit-sequences could be predicted. This enabled the option to fine-tune subject-specific parameters like the optimal subset of codes, optimal layout allocation and stopping margins. By doing so cross-correlations were minimized to optimize the discriminability between the templates. In the current setup, eye-movements are required to fixate eye-gaze on the character of interest. In the near future we will investigate whether the BBVEP is still detectable in a covert attention setup (e.g., HexoSpell). In addition, we can further improve the speed by implementing asynchronous BCI. More specifically, continuous stimulation (i.e., no time-lock) and con-

tinuous classification could allow the speller to perform an output as early as possible. In addition, this creates the opportunity to ignore contaminated EEG. Concluding, by switching to noise-tagging as paradigm for stimulation, BBVEP-based BCI have proven to be very successful REFERENCES • Farwell, L. A., & Donchin, E. (1988). Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. Electroencephalography and clinical Neurophysiology, 70 (6), 510–523. • Gao, X., Xu, D., Cheng, M., & Gao, S. (2003). A BCI-based environmental controller for the motion-disabled. Neural Systems and Rehabilitation Engineering, IEEE Transactions on, 11 (2), 137–140. • Gold, R. (1967). Optimal binary sequences for spread spectrum multi-plexing. IEEE Transactions on Information Theory, 13 , 619-621. • Golomb, S. W., Welch, L. R., Goldstein, R. M., & Hales, A. W. (1982). Shift register sequences (Vol. 78). Aegean Park Press Laguna Hills, CA. • Kronegg, J., Voloshynovskiy, S., & Pun, T. (2005). Analysis of bit-rate definitions for brain-computer interfaces. In Csrea hci (pp. 40–46). • Rappaport, T. S. (1996). Wireless communications: principles and practice (Vol. 2). Prentice Hall PTR New Jersey. • Spüler, M., Rosenstiel, W., & Bogdan, M. (2012). Online adaptation of a c-VEP brain-computer interface (BCI) based on error-related potentials and unsupervised learning. PloS one, 7 (12), e51077. • Sutter, E. (1992). The brain response interface: communication through visually-induced electrical brain responses. Journal of Microcomputer Applications, 15 (1), 31–45. • Thielen, J., van den Broek, P., Farquhar, J., & Desain, P. (in prep.). Broad Band Evoked Potentials for Fast and Robust Brain Computer Interfacing. • Townsend, G., Shanahan, J., Ryan, D. B., & Sellers, E. W. (2012). A general P300 brain–computer interface presentation paradigm based on performance guided constraints. Neuroscience letters, 531 (2), 63–68. • van Gerven, M., Farquhar, J., Schaefer, R., Vlek, R., Geuze, J., Nijholt, A., . . . Desain, P. (2009). The brain–computer interface cycle. Journal of Neural Engineering, 6 (4), 041001. 4


17

Jelte van Waterschoot, Universiteit Utrecht

Reverse Engineering the Brain In 2010 Ray Kurzweil, a futurist AI specialist, said that it will be possible to reverse engineer the brain by 2030 [1]. Here I will briefly discuss what the current technologies have brought us this far and what it means for both how the human mind works as well as the implications for artificial intelligence.

Mapping the brain Reverse-engineering the brain is ranked #9 in the Grand Challenges for Engineering. Roysam et al. postulate that neuroinformatics play an influential role in this process [2]. They discuss some of the most recent achievements and challenges in the field. For very small organisms, like a worm, there has been success in mapping its brain completely, unfortunately, a simulation of the worm all together has not been tested yet [3]. Still, the worm has only a few hundred neurons, opposed to humans who have more than 8 billion neurons [4]. Even for arthropods like fruit flies there is still no complete model available. You might have heard of the story of the IBM computer that has been able to model a feline brain in 2009. Unfortunately, this story has turned out to be not quite correct, as Markham has pointed out in a later interview in 2013 [5]. The neurons represented in the IBM computer aren't like 'real' neurons. For example, the neurons' interactions aren't present, though these interactions are very important for information processing. A quote from the interview stating shortly what the actual computer is capable of:

one synapse, you already require over tens of thousand differential equations to be simulated, so let alone the complexity for all synapses. • The ionic flow in the branches of the neurons, to simulate the ion channels biophysics, the protein-protein interactions, as well as the complete biochemical and genetic machinery as well as the synaptic transmission between neurons. It seems we're still far from completing the objective of building ourselves a brain. Still, some good technologies have come around to give a quite complete picture of the human brain. Take the V3D technology of Peng et al, for which they developed the V3D-Neuron application [6]. The software for mapping the brain can run on any computer and can map very detailed information of brains. If it is combined with the technology of BigBrain developed by Amunts et al, which is an imaging technique with detail to about 20 nm [7]. Fortunately for other researchers, the data of the brain is available for free, though the complete set is a whopping 1 terabytes, not that small of a file to share.

"These "points" they simulated and the synapses that they use for communication are literally millions of times simpler than a real cat brain. So they have not even simulated a cat's brain at one millionth of its complexity. It is not even close to an ant’s brain." Basically the requirements we need in an artificial brain to be like a real brain are (at least): • Some way of building proteins and transport them to all the corners of the connected neurons, these are required for complex processes and memory. • Multiple types of synapses which are non-linear in transmission and transform information. These themselves are hardly adequately represented in artificial brains at present. For 18


The (human) brain To understand how a brain can be mapped correctly, it's necessary to run representative tests of actual 'firing neurons'. Technology has progressed as far that it might be possible to connect

reverse engineering the brain De Connectie

many electrodes to single neurons and measure their activity. However, as indicated above, the electrical activity itself is not enough to make a complete model of the brain. There also need to be ways of measuring neurotransmitter. Even so, optogenetic neuroprobes are already being used to stimulate the brain with light instead of electricity for more precise and larger neurological stimulation [8].

interaction of multiple components for behaviour. This seems an unjustified oversimplification of how the human brain works. If there are already interactions engineered in a brain, these are often linear, hence the 'aggregate system', while most processes in the brain are not linearly interactive. Schierwagen also states that there are mainly four reasons why reverse engineering has some issues according to the brain and cognitive scientists.

Unfortunately, all data that could be collected about the brain is meaningless if we don't understand how the processes in the brain work. There is need for a basic understanding at least of some parts of the brain to actually effectively use the data. The Human Brain Project of the EU is researching this issue, but it remains a circular problem. To understand the data, we need to understand the brain. But in order to understand the brain, we need to understand the data.

1. The parameters of the model are not the correct ones. 2. The current system is below some complexity threshold. 3. There is not enough computing power. 4. Something fundamental is lacking in the system.

Implications An important implication is that with reverse engineering the brain, we could finally build more complex systems. Think about combining multimodal sensory systems to better process the input from the environment. Or that it gives insight in how the complexity of real-world problems can be reduced to a more suitable representation dynamically by an AI with a mapping of the brain. Perhaps just putting some common sense in a computer to deal with everyday problems. Once the brain is reverse engineered, it could help solving many of engineers problems. Also, as with many fields o science, it is important to note the implications of innovative ideas about mapping a brain and whether the developments are ethical or not. There is a code of ethics developed by the National Society of Professional Engineers (NSPE), which is used to put some bounds on the different Grand Challenges [9], including reverse-engineering the brain. Of course, the code of ethics is completely voluntarily for developing better ways to map the brain, so it does not cover all people looking in to the research field.

Skepticism Even so, some reckon that engineering a cognitive artificial brain is not possible, because of the fundamental assumption most AI-researchers assume [10]. The assumption implies according to him: "cognitive and brain systems are non-ideal aggregate systems; the capacity of the components are internally realized by strong intra-component interactions, and interactions between components do not appreciably contribute to the capacities; they are much weaker than the intra-component interactions." Thus complex systems like our brain can be decomposed into smaller complex systems, while most processes will require

He states that often the first three are assumed, probably because these are realistically solvable. However, he says that the fourth one is probably the issue and puts forward empirical and formal evidence in his paper, which is beyond the scope of this short article. His final statement is that the fundamental assumption should be dropped, as non-decomposability is intrinsic in complex systems. He urges that future research should be held in such systems and into non-linear complex system to get even close to create brain-like intelligent systems. In the end, there is much going on in favour of developing artificial brains based from scans of human brains. However, it seems that only computer power and better models are not the answer to developing an actual intelligent brain. Actually only very specific or huge power systems which can simulate some parts of the brain. There is something missing from this puzzle which we are yet to find out, but must be careful in thinking about the consequences. REFERENCES [1] http://www.wired.com/2010/08/reverse-engineering-brain-kurzweil/ [2] Roysam et al. - The Central Role of Neuroinformatics in the National Academy of Engineering’s Grandest Challenge: Reverse Engineer the Brain (2009) [3] White et al. - The structure of the nervous system of the nematode Caenorhabditis elegans (1986) [4] http://www.theguardian.com/science/blog/2012/feb/28/how-manyneurons-human-brain [5] http://news.discovery.com/tech/cat-brain-computer-hype.htm [6] Peng et al. - V3D enables real-time 3D visualization and quantitative analysis of large-scale biological image data sets (2010) [7] http://www.sciencemag.org.proxy.library.uu.nl/content/340/6139/1472.full [8] Alison Abbott - Solving the brain (2013) [9] http://www.nspe.org/resources/ethics/code-ethics [10] Andreas Schierwagen - On reverse engineering in the cognitive and brain sciences (2012)


19

Ruud Barth, Computer Vision & Robotics at Wageningen University & Research Center

robotics et

Artificial Intelligence is a broad multidisciplinary field which is very exciting and promising to currently work in. The very essence of mankind has always been to create new technologies and this field certainly lives up to that ambition. One of the next revolutions we will cause is the intelligent robotization of all kinds of labor. Although this presumably will make ourselves as humans redundant for certain tasks (or all?), I think this is beneficial in the long run. Provided that the change is gradual, it allows to scale up the economy whilst reducing human efforts. In short, we will endure more wealth and it frees more time whilst using less resources. Off course this is the bright picture, as there are many pitfalls that we should evade before arriving in this new era; for example the Jevons paradox or the fair and even distribution of economic power. Today I would like to give you a peek into my job that aims to robotize one of the most important fields in our lives (quite literally); the agri- and horticultural domain. I found this job at Wageningen University & Research Center over 2 years ago after I obtained my A.I. master degree. At the moment I am writing to you from Cambridge in Massachusetts, where a lot of robotic research is performed by two worldly renowned institutes situated: Harvard and MIT. As I am visiting the former for three months, I am trying to dent out the state of the art in agricultural robotics. For the past 4 years, our team at Wageningen has worked on a prototype robotic harvester for sweet peppers. Nowadays the greenhouse labor force is under pressure in the 20


Netherlands, home of the high tech food production chains. Working conditions are harsh and repetitive. Our aim is to automate this type of labor as soon as possible. Together with an European research consortium in the project CROPS, we managed to pick these fruits automatically in the greenhouse this summer for the first time. Although robotization is already common in other industries, it has not yet took off in the agriculture yet. Although the potential market is huge, the problem space is very diverse. Each crop has other specifications and constraints and there has not yet been a single proven approach for the whole domain. Furthermore, in other industries the target objects are mostly parts and well defined. Plants and fruit on the other hand grow in many ways, not one of them is the same. Capturing this variation and coping with unstructured environments they are growing in are the main challenges today. Fortunately, if you believe in the law of accelerating technology, these problems are of a temporary nature. In the next few years I foresee more off the shelf technologies becoming available and rapidly advancing prototyping times. For us one of the approaches to tackle this problem is by carefully designing the most important tool of the robot: the end-effector. This tool is used for grasping and cutting the fruit. Out main focus was to make the design adaptable to the variety found in the fruit. We succeeded in this by creating two enclosing rings that

robotics and agriculture De Connectie

agriculture always capture any fruit morphology. Other approaches merely try to adapt to each individual case, which adds a heavy sensing and reasoning requirements. My current project here is to create a framework that assists the end-effector towards his target by combining visual servo control and 3D scene reconstruction. Traditionally, sensing is performed externally from the robot. Targets are identified where after a motion trajectory is planned and executed. However these approaches proved difficult under greenhouse conditions, as a single viewpoint provides not enough information to detect all targets. Moreover, executing a motion blindly discards any option to correct the positioning when the plant is moved by the robot. Also the uncertainties of transformation- and calibration errors accumulate in the external sensing approach. All the more reason to sense and correct from the gripper during motion. The alternative approach of visual servo control allows for this by correcting the position incrementally during the movement by visual inspection from the end-effector. Currently I also reconstruct the scene in 3D whilst moving, using the method of simultaneous localization and mapping (SLAM). This allows to find a suitable starting point for the visual servo control and adds the depth information for more precision.

Unfortunately project CROPS has ended this summer. The field tests have been performed and the first results are written down for publication. I cannot state that we are there yet, since there is still a gap between this research prototype and an actual market feasible design. However the fundamentals are proven, so a second iteration probably will get us there. For this purpose we have written a successful grant application to bring this prototype towards the market. A couple of weeks ago the European research project SWEEPER got approved, allowing us to spent the next three years. One of our other ideas is not only to adapt the robot to the plant morphology, but also trying to adapt the plant morphology to the robot. We believe that selecting the right species of plants heavily improve the affordance for robot picking. In the next years we shall see more robotics emerging in these relatively unstructured environments. In agriand horticutlure it will further optimize our food production; enabling more food security and quality at lower costs. I am delighted that my job allows to participate in that goal and I hope I might inspire others to do so as well.


21

Roland Meertens, Radboud Universiteit Nijmegen

The Detection of Overlapping Communities In Motor Cortices 22


neuromodeling De Connectie

1 Introduction The brain is a complex organ consisting of billions of neurons each connected by synapses and other neurons. For years scientists have tried to divide the brain into functional regions. During the course Neurocognitive Modelling at the Radboud University I used a Bayesian approach to find these regions. The method approaches this problem by finding the regions that are more densely connected within these regions and sparser connected with other regions. In this article I will describe how this approach works, and what the results are when applying it to a subarea of the motor cortex. The research area of connectivity analysis focuses on both the functional and structural connectivity of the brain. A community in the brain is a group of voxels which are densely connected between these voxels and sparsely connected with the voxels in other communities. By seeing these voxels as nodes in a graph we are able to apply the same algorithms on these voxels as we can apply on other graphs. We applied a community estimation algorithm on a large dataset of voxels and the connections between these voxels. A big problem in analyzing connectivity data of the brain is the size of the dataset and the sparse connectedness of the data. In this project we used a subset of the brain with 32179 connections between 1993 nodes. Traditional approaches simply ignored the fact that a voxel can belong to multiple communities to increase the speed of the calculations. An overlapped node is a node that is shared by multiple communities, nodes that only belong to one community are the non-overlapped nodes [9]. A recently released paper by Gopalan and Blei describes the stochastic variational inference (SVI) algorithm: a method to determine the overlapping communities in a graph by using a Mixed Membership Stochastical Blockmodel [5]. The algorithm by Gopalan and Blei subsamples the network to update an estimate of the community structure of a graph. The estimate of the community structure is represented using the Mixed Membership Stochastic Blockmodel(MMSB), explained in the next section. As the authors provided their source code we could use this on our own dataset: the connectivity data of two brain areas.

2 Mixed Membership Stochastical Blockmodel 2.1 Basic idea of the MMSB To explain how the Mixed Membership Stochastic Blockmodel (MMSB) works we take the example Airoldi et al. used to explain this model [1]. In his example he describes the community structure Sampson found using social data gathered while living with a group of monks [8]. Sampson asked a group of monks to indicate who within the group they liked and who they did not like. He came up with several fractions within this group: the "Loyal Opposition", the "Outcasts", the "Waverers" and the "Young Turks" (see Figure 1). The monks did not always clearly belonged to one group, the "Waverers" liked (and were liked by) both members from the "Loyal Opposition" as well as the "Outcasts".

Figure 1:A plot with an example of the MMSB

To model this group of monks using a MMSB each monk gets assigned a vector πi where πi,g is the probability that when drawing a community monk i belongs to he draws group g. Each monk can belong to multiple groups, where the probability that one specific group is drawn can be different per group. The model also has a matrix of group-group interaction strength indicated with β [1]. The variable βg,h indicates the probability that a monk from group g has a connection with a monk in group h. As the groups of monks mostly liked members of their own group the values of βg,g were higher than the values to other groups. However, members of the "Loyal" opposition were liked by both the "Young Turks" and the "Outcasts". [1]. βk gives nummer 1, maart 2015

23

Overview of simulated connections

a notion of how dense community k is connected and is the probability that two nodes are connected given that they both draw the same zi → j. 2.2 Applying it to the brain As the MMSB can, apart from monk data, be applied to any type of graph we tried to model the connectivity in the brain with it. In the model that we try to find each voxel gets assigned a vector πi, where πi,g is the probability that when drawing a community voxel i belongs to he draws group g. The variable βg,h indicates the probability that a voxel from group g has a connection with a voxel in group h. 2.3 SVINET SVI is the Stochastical Variational Inference algorithm for the MMSB. This algorithm uses the observed network to update the variables of the MMSB. The goal of the algorithm is to minimize the dissimilarity between the observed network and the network estimated by our model. To measure this dissimilarity the KullbackLeibner divergence is used. The Kullback-Leibner(KL) divergence DKL(P||Q) measures the amount of information the model loses when Q is used as an approximation to P. In this case P is the "true" model, the model that "generated" the dataset that we have from the Donders institute. Q is the model constructed by running the SVI algorithm and drawing the connections from the constructed model. The KL-divergence can be minimized when we optimize the evidence lower bound(ELBO), which is based on the log likelihood of the observations we made. 24


This measurement determines how well a model fits the observations by calculating for all voxels the probability that that when drawing a link to a community for two voxels that are connected they draw the same community. The ELBO also takes into account that nonlinks should not draw the same communities. To minimize the KL-divergence the algorithm tries to find an optimal distribution for each node over the communities (φ), and the optimal values for β. While we try to approximate the conditional distribution we expect that the hidden communities will emerge [5]. What measure is used to determine how optimal the model M is described in the next section. 2.4 Measuring convergence The algorithm runs as long as the generated model is not close to an optimal model. This is measured by the variable the authors of the SVINET algorithm call perplexity, and is based on how well the network is able to predict both the links and the non-links in the test set. For each link and non-link in the testset we predict the probability of yab | yobserved. As long as the results of the model keeps being perplexed we continue to improve it. The held out set of node pairs H is chosen by taking 5% percent of the network as a test set. Of the edges that are chosen 50% are links and 50% are nonlinks. Although this does not truly represent the balance between the links and non-links in our network taking the true balance (in our case the probability of a connection is roughly 1.5% in the superior area and 0.004% in the inferior area) would mean that either a

neuromodeling De Connectie

large subset of non-links should be held out or that the amount of links chosen is very low.

3 Implementation 3.1 Data The data we used was from the Donders institute. The cortical surface was reconstructed and parcellated according to the atlas defined in [3]. The subsequent analyses were performed on subgraphs representing superior and inferior portions of bilateral motor cortices. The hereby obtained subgraphs contain directed edges. As accounting the multiple-membership of edges in different communities is hard with this great amount of data we also decide to neglect the directionality of our network [4]. Although our data consists of values indicating the random microscopic motion of water protons between the voxels [2] we make the data suitable for the stochastic block model by making our data binary by drawing a connection between every voxel with a value higher than 0. 3.2 Implementation information We converted the data of the Donders institute to data usable by the SVINET algorithm. The SVINET algorithm was ran for each dataset we had. The results contained information about which connection belongs to which communities, including some extra information about the graph. To visualize the data we created our own visualization software with help of SpirOps (www.spirops.com).

4 Results A video of the visualization can be found at [9]. Two images showing the result can be found in Figure 2. To explore a javascript visualization you can go to my github [10]. The results are also visible in Figure 2. We see that the distance between the nodes in a community is very small, something that was expected. The colour of the edges represents the peak of the approximate posterior p(zi → j , zj → i | y) by looking at the outgoing edges of a node one gets an indication on what communities in the brain this node has an impact. The size of the nodes represents the expected bridgeness of that node, a measure to indicate to what extent the node is shared by different communities based on

its distance to several reference nodes [7]. The colour of each node represents the group of this node. Each group has one colour, which does not necessarily reect the colour of the edges of that node. When plotting the log likelihood on the heldout set we see that it decreases (see Figure 3. We see that the algorithm converges and the model is not surprised by the actual connections. The ELBO goes down, which is an indication that our model becomes better at predicting the connections.

5 Conclusion and discussion The results indicate that our approach works. Unfortunately we did not compare the (properties of the) found communities to (properties of the) know communities in these areas. It would be interesting to compare properties of the found communities with other parcellations. REFERENCES [1] Edoardo M Airoldi, David M Blei, Stephen E Fienberg, and Eric P Xing. Mixed Membership Stochastic Blockmodels. Journal of machine learning research : JMLR, 9(2008):1981{2014, September 2008. [2] Roland Bammer. Basic principles of diffusion-weighted imaging. European journal of radiology, 45(3):169{84, March 2003. [3] C Destrieux, B Fischl, A Dale, and E Halgren. Automatic parcellation of human cortical gyri and sulci using standard anatomical nomenclature.Neuroimage, 53(1):1{15, 2010. [4] Santo Fortunato. Community detection in graphs. Physics Reports, 2010. [5] Prem K Gopalan and David M Blei. E_cient discovery of overlapping communities in massive networks. Proceedings of the National Academy of Sciences of the United States of America, 110(36):14534{9, September 2013. [6] MI Jordan, Z Ghahramani, TS Jaakkola, and LK Saul. An introduction to variational methods for graphical models. Machine learning, 233:183,1999. [7] T Nepusz, A Petr_oczi, L N_egyessy, and F Bazs_o. Fuzzy communities and the concept of bridgeness in complex networks. Physical Review E, 1:13,2008. [8] S. F. Sampson. A novitiate in a period of change: An experimental and case study of social relationships. 1968. [9] http://youtu.be/gNxjgIRm8sM [10] https://rmeertens.github.io/brainvisualisation/


25

Luc Nies

robotic telepresence De Connectie

robotic telepresence Het geeft toch wel een beetje een raar gevoel: via de Oculus Rift kan ik mijzelf zien zitten. Als ik naar beneden kijk, zie ik daar niet mijn eigen benen, maar die van de NAO robot. Ook al kan ik niet meer dan rondkijken, de tip van de sluier van de mogelijkheden van telepresence wordt zo wel opgelicht. Zoals uit de naam valt af te leiden houdt de term telepresence in dat je vanaf afstand aanwezig bent. Dat gaat verder dan telefoneren. Skypen komt al wat meer in de buurt, maar echt aanwezig zijn houdt meer in dan alleen beeld en geluid overbrengen; het voelt niet alsof jij in levenden lijve aanwezig bent, zowel voor jou als voor de persoon met wie jij Skypet. Echte telepresence is te zien in de film Surrogates (2009). Daarin besturen mensen vanaf een afstand een robot alsof het hun eigen lichaam is; ze kunnen dan niet alleen zien, horen en spreken, zoals met Skype, maar ook bewegen en zelfs voelen. Ze zijn volledig aanwezig op afstand. Ook al zal het lang duren totdat zulke telepresence mogelijk wordt (als het überhaupt ooit mogelijk wordt, het is immers een science-fiction film), er worden al een paar stappen in de goede richting gezet. Met name in de zorg zijn er experimenten met telepresence. Zo is er de ROSE, een op afstand bestuurbare robot die helpt met huishoudelijke taken. Hoe werkt dit dan precies? Een zorgverlener zit op kantoor achter een computer van waaruit zij de robots bestuurt. Op de robot zit een scherm zodat de zorgverlener en de zorgbehoevende met elkaar kunnen communiceren. Je kunt dit ook vanuit de zorgbehoevende redeneren: stel maar een senior voor die lichamelijk niet meer goed is en moeite heeft met lopen. Hij of zij zou dan via telepresence een robot kunnen besturen en zo boodschappen doen. Dat zou senioren veel meer controle over hun eigen leven geven. Of stel dat je gaat trouwen, maar jouw beste vriend ligt in het zie26


kenhuis. Dankzij telepresence zou hij dan toch aanwezig zijn! Bij huidige vormen van telepresence, zoals de ROSE en double, kan jij de persoon die de robot bestuurt zien via een scherm. Omdat communicatie via een beeldscherm niet echt natuurlijk aanvoelt, (net zo als een gesprek voeren via skype, het voelt toch niet helemaal als een echte conversatie) wilden wij iets anders pro-

ROSE and Nao humanoid robot

beren. Hoe kunnen wij er voor zorgen dat communicatie via een robot natuurlijker aan voelt, voor zowel de persoon die de robot bestuurt, als de persoon die met de robot communiceert? Met dat doel in ons achterhoofd zijn wij uiteindelijk op het idee gekomen om de Oculus Rift te gebruiken. De Oculus Rift (OR) is een virtual reality bril die ook in staat is om de hoofdbewegingen van de gebruiker te meten. De OR is speciaal ontwikkeld om games meer immersive te maken: om de speler het gevoel te geven dat hij zich daadwerkelijk in een andere (game) wereld bevindt en echt in de huid van iemand anders is gekropen. Wij hebben dan ook de OR gebruikt om iemand het gevoel te geven in de ‘huid’ van de robot te kruipen.

Hiervoor gebruiken wij een Oculus Rift development kit en een NAO, een humanoïde robot die vooral gebruikt wordt in onderzoek naar social robotics. Het camerabeeld van de NAO wordt geprojecteerd in de OR. De door de OR gemeten hoofdbewegingen van de gebruiker worden vertaald naar de NAO zodat deze zijn hoofd op dezelfde manier beweegt als de gebruiker. Als je de OR opzet zie je dus wat de robot ‘ziet’ en beweegt de robot zijn hoofd mee met jouw hoofd; als jij naar links kijkt, kijkt de robot ook naar links. Jij bent als het ware de robot. Ook al is dit verre van echte telepresence, het biedt al wel de mogelijkheid om onderzoek te doen en om middels deze methode interessante onderzoeksvragen te beantwoorden. Want interessant zijn de onderzoeksvragen zeker. Hoe bevalt het om via een robot te communiceren in plaats van via een scherm? Helpt de toename van immersiveness met het besturen van de robot? Is er überhaupt wel sprake van een toename van immersiveness? En wat vinden eventuele zorgbehoevenden van een dergelijk systeem? Hebben ze wel het idee met een mens te maken hebben? Kunnen ze er voldoende sociale interactie uit halen om niet eenzaam te worden? Want dat is hoe wetenschap werkt: we kunnen dan wel technologische hoogstandjes maken, het is maar zeer de vraag hoe goed de techniek werkt en wordt ervaren in de praktijk. Ook al zijn er al wat onderzoeken gedaan naar telepresence, het is verre van voldoende om een goed beeld te vormen van hoe mensen om gaan met telepresence. Maar hopelijk hebben wij met ons project de lange weg naar telepresence weer een stukje korter gemaakt.

puzzel

De Connectie

Raadsel Jij en een vriend zitten samen in de gevangenis omdat jullie een kwaadaardige robot hebben gemaakt. Op een dag stelt de cipier een spelletje voor. De cipier brengt je naar een aparte kamer, waarin een schaakbord staat. De cipier legt op elk vakje een muntje, waarbij deze (willekeurig) met kop of munt boven ligt. Hij wijst vervolgens (willekeurig) een van de 64 vakjes aan. Vervolgens mag jij een muntje omdraaien, voordat je vriend de kamer binnen wordt gebracht (en jij naar buiten gaat). Wanneer je vriend het vakje aan kan wijzen die de cipier ook had aangewezen zijn jullie beiden vrij. Gaat dit fout, dan worden jullie beiden doodgemaakt. Jullie weten beiden vooraf hoe het spel werkt, en jullie krijgen een paar uur de tijd om te overleggen voordat het spel gespeeld wordt. Welke strategie bedenken jullie waarmee jullie altijd vrij worden gelaten? Dit is een mooi wiskundig raadsel. Er zijn geen flauwe trucjes, je kan niets op de muur schrijven of overleggen. Het werkt in alle mogelijke gevallen, en is niet gebaseerd op kansen.


27

Cognitiewetenschap ○ Kennistechnologie ○ Artificial Intelligence ○ Mens-machine Interactie ○ Robotica

Hack the Brain. Robot Telepresence. Op het puntje van je tong. Brain Computer Interfacing. JAARGANG 10 NR. 1 - maart BREIN

Recommend Documents