Samenvatting

Chapter 8. Summary

Chapter 8 Summary/Samenvatting 8.1 Summary This thesis investigated the neurocognitive correlates of verbal self-monitoring in healthy adults. Particularly, in this thesis the Error-Related Negativity (ERN) was of interest. The ERN is a brain potential, which is associated with the working of a general performance monitor. The central questions addressed in the thesis are: If the ERN is associated with error processing in action monitoring, can it also be applied to error processing in verbal monitoring? Does verbal monitoring work in a similar way as action monitoring? Chapter 2 addressed the question whether or not an ERN occurs after verbal error detection and whether or not it is affected by time pressure. In the perceptual loop theory (Levelt, 1983), the monitor is assumed to be resource-limited. In this case, the monitor should be affected by a timepressure manipulation. Participants had to perform a phoneme-monitoring task with and without a time pressure manipulation. The results show that participants made more errors and showed a decrease in ERN amplitude under severe time pressure. It is likely that the verbal monitor checks an abstract phonological representation by screening for mismatches between intended and actual verbal responses. Thus, the verbal outcome is compared with the original intention, and if there is a mismatch, then an error is detected. Under time pressure, there might not be enough time available to make an optimal comparison between correct and actual responses. As a result, a weaker ERN is generated and more errors pass undetected or corrective processes are not activated fast enough. Interestingly, in the study described in Chapter 3, German-Dutch bilinguals performed the same task as in Chapter 2 (i.e., a phoneme-monitoring task with and without time pressure manipulation) in their second language, i.e. Dutch. As native Dutch speakers, German native speakers made more errors under time pressure compared to no time pressure. Surprisingly, however, there were enhanced ERN amplitudes under time pressure, as compared to the control condition. It is possible that under time pressure participants had more difficulty inhibiting their dominant native language and experienced more intrusions from it. Hence, it is possible that at the time of response, there was not only the Dutch name of the picture active but also the German name, which made it more difficult for the monitor to verify which response was correct and which was erroneous. This, in turn, may have led to more response conflict and higher amplitudes of the ERN. In the following chapter, Chapter 4, the presence and relatedness of auditory distractors was manipulated to further investigate the effects of verbal manipulation on the ERN. The ERN 141

Chapter 8. Summary is sensitive to the response conflict. However, there are no studies showing that the ERN can be affected by lexical retrieval conflict. Sensitivity of the ERN to the increase of lexical conflict might provide additional support for the hypothesis that verbal monitoring involves similar processes as non-verbal action monitoring. Participants were required to perform a phoneme-monitoring task with semantically related distractors, semantically unrelated ones, or in the absence of any distractors. Error rate was independent of distractors to a target picture. However, there was an increase in response latencies and amplitude of the ERN for semantically related relative to semantically unrelated distractors. Semantically related distractors presumably co-activate, through the spreading of activation, multiple concepts that are semantically related to one another competing for lexical selection. Hence, in the semantically related condition at the time of response there was more conflict between competing responses than in the semantically unrelated condition or in the absence of distractor words, thereby leading to larger ERN amplitudes. The verbal self-monitor needs to verify on-line whether the correct entry was chosen from the pool of competing items, which in turn leads to slower responses. In the unrelated condition, however, such verification might not be as relevant, since unrelated distractors do not lead to activation of related concepts, and therefore less competition may be present at the time of response. This finding was replicated and extended in the study described in Chapter 5. Contrary to the previous studies, in which a phoneme-monitoring task was used (Chapters 2, 3, and 4), in the Chapter 5 a picture naming task was employed. Participants were required to name pictures in a semantic context, in which all pictures were from the same semantic category, and in an unrelated context, in which all pictures were from different semantic categories. Additionally, participants’ motivation was manipulated, i.e. for errors in the high-motivation condition, participants were told to be financially punished, whereas for errors in the low-motivation condition, participants received neither financial punishment nor reward. Participants were slower, made more errors, and showed enhanced ERN amplitudes in naming pictures in semantically related blocks as opposed to unrelated blocks. The enhancement of the ERN and selection latencies in semantically related blocks was most likely due to the simultaneous activation of competing lexical items, which in turn led to a higher conflict at a time of response. It is possible that due to the simultaneous activation of competing items, the verbal self-monitor is presumably more alert in the semantically related context than in the mixed context in order to validate whether or not the given response was correct. The motivation manipulation had no effect on naming latencies or error rates. However, in the electrophysiological data, the amplitude and the latency of the ERN were affected by the motivation manipulation. Enhanced and delayed ERN was observed in the high-motivation condition, compared to the low-motivation condition. In the high-motivation condition, errors had more severe consequences for participants than in the low-motivation condition. It is plausible that under circumstances in which errors have more severe consequences the verbal monitor has to be more alert in order to verify whether or not the selected response was correct. In the high142

Chapter 8. Summary motivation condition, error monitoring may have been slowed in order to verify that the selected response is indeed the correct response. In the low-motivation condition, such verification was faster and of less significance, since errors did not have severe consequences. The goal of the study described in Chapter 6 was to investigate whether and how the ERN is affected by conflict in a bilingual situation. Dutch-English bilinguals saw Dutch words in white print that needed to be classified (right or left button-press) according to their grammatical gender and colored words that were to be classified on the basis of their color. Colored words included Dutch common and neuter gender words, and English translations of these words. Performance was more error-prone on incongruent trials, in which there was a mismatch between color and gender response mapping, as compared to congruent trials, in which no such discrepancy was present. There was an ERN following incorrect classifications for colored words which was larger for incongruent than congruent trials. Higher error rates and enhanced amplitude of the ERN on incongruent trials were independent of the language in which target words were presented. This may suggest that when multiple languages are active, the verbal monitor has more difficulty to keep languages separated and therefore suffers more from intrusions from a second language, resulting in more response conflict and more error-prone performance (see also Chapter 3). These results also provide evidence that under certain circumstances speakers can transfer grammatical characteristics of their native language (e.g. gender) to their second language, even if such characteristics are absent from the latter. Taking all results of studies in the present thesis together, it seems that there is a conceptual overlap between verbal monitoring and general performance monitoring theories. Both types of monitoring theories independently state that in order to detect an error a monitor compares the representation of a correct response with the copy of an on-line response. It is possible that during verbal monitoring, as well as during executive action monitoring, a copy of the on-line response is created and compared to the representation of the correct response. If there is a mismatch between them, an error signal is generated and corrective processes can be started. In a series of experiments, a typical ERN was shown in a various tasks in which performance was dependent on a verbal judgment (Chapters 2, 3, 4, 5, and 6). More specifically, in Chapters 3 and 5, the ERN was not only present after verbal errors, but was also affected by lexical conflict, which presumably was the result of simultaneous activation of multiple concepts from the same semantic category. To conclude, these findings provide converging evidence that verbal monitoring might be a special case of general performance monitoring instead of a completely separate process. Furthermore, these results suggest that the ERN can be used as an electrophysiological marker of error processing in psycholinguistic research.

143

Chapter 8. Samenvattimg

8.2 Samenvatting In dit proefschrift worden de neurologische maten voor verbale zelfmonitoring in gezonde volwassenen onderzocht. In het bijzonder ging mijn interesse uit naar de error-related negativity (ERN). De ERN is een hersenpotentiaal, die te maken heeft met de werking van een algemene uitvoeringsmonitor, een cognitieve module die de correctheid van ons gedrag controleert. De centrale vragen in het proefschrift zijn: Als de ERN te maken heeft met het verwerken van fouten bij processen van de uitvoeringsmonitor, kan deze dan ook gebruikt worden bij processen van de verbale monitor? Werkt de verbale monitor op een vergelijkbare manier als een actie-monitor? In Hoofdstuk 2 wordt een ERP-studie beschreven, waarin is onderzocht of de ERN gebruikt kan worden om verbale fouten op te sporen en of de ERN wordt beïnvloedt als proefpersonen onder tijdsdruk worden gezet. In de perceptual-loop theorie (Levelt, 1983), wordt de monitor gezien als een bronafhankelijk proces. Als dat het geval is zou de monitor beïnvloedt moeten worden door manipulatie van de tijdsdruk. Proefpersonen moesten een foneemdetectie taak zowel met als zonder tijdsdruk uitvoeren. Het blijkt dat dat proefpersonen meer fouten maken en een lagere ERN hebben onder flinke tijdsdruk dan zonder tijdsdruk. Het is dus waarschijnlijk dat de verbale monitor een abstracte fonologische representatie controleert op verschillen tussen de bedoelde en daadwerkelijke respons. De verbale respons wordt met de intentionele response vergeleken, en als er overeenkomst is, dan wordt er een fout gesignaleerd. Het is mogelijk dat er onder tijdsdruk niet genoeg tijd beschikbaar is om een optimale vergelijking tussen de correcte en de daadwerkelijke respons te maken. Als een gevolg hiervan wordt er een zwakkere ERN gegenereerd en worden meer fouten niet opgemerkt of worden corrigerende processen niet snel genoeg geactiveerd. Hoofdstuk 3 beschrijft een studie, waarin Duitse tweetalige proefpersonen dezelfde taak als in Hoofdstuk 2 (een foneem-detectie taak met en zonder tijdsdruk manipulatie) in het Nederlands, hun tweede taal, moesten uitvoeren. Net als mensen met Nederlands als moedertaal, maakten de Duitse proefpersonen met Nederlands als tweede taal ook meer fouten in de situatie met tijdsdruk in vergelijking met de situatie zonder tijdsdruk. Echter, tegen de verwachting in, vond ik hogere ERN scores in de situatie met tijdsdruk dan zonder tijdsdruk als de taak in de tweede taal wordt uitgevoerd. Het is mogelijk dat onder tijdsdruk proefpersonen meer moeilijkheden hadden om hun dominante moedertaal te onderdrukken en daardoor meer last hadden van intrusies van de moedertaal. Ook is het mogelijk dat op het moment van de respons er niet alleen de Nederlandse naam van het plaatje beschikbaar was maar ook de Duitse naam. Het was daardoor voor de monitor moeilijker is om te bepalen welke respons correct en welke respons foutief was. Dit zou geleid kunnen hebben tot meer conflict tussen strijdende responsen en hogere amplitude van de ERN. Vervolgens heb ik in Hoofdstuk 4 de aanwezigheid en de relatie tussen auditieve distractoren gemanipuleerd om verder te onderzoeken wat de effecten van verbale manipulaties 144

Chapter 8. Samenvattimg op ERN zijn. De ERN is gevoelig voor grotere conflicten tussen strijdende responsen. Echter, tot op heden was er nooit onderzocht of de ERN ook gevoelig is voor een lexicaal conflict. Gevoeligheid van de ERN voor een toename van een lexicaal conflict zou extra evidentie kunnen zijn voor de hypothese dat verbale monitoring vergelijkbare processen gebruikt als non-verbale actie monitoring. Proefpersonen moesten een foneem-detectie taak uitvoeren met semantisch gerelateerde-, semantisch ongerelateerde distractoren, en zonder distractoren. Het foutenpercentage was niet afhankelijk van de distractoren. Maar ik vond wel een verhoging in de reactietijden en de amplitude van de ERN voor semantisch gerelateerde distractoren in vergelijking met semantisch ongerelateerde distractoren. Semantische distractoren activeren kennelijk, door de spreiding van activatie, meerdere concepten die semantisch aan elkaar gerelateerd zijn en die met elkaar strijden voor lexicale selectie. Daardoor was er in de semantisch gerelateerde conditie meer conflict tussen strijdende responsen dan in de semantisch ongerelateerde conditie of bij afwezigheid van afleidende woorden. Dit heeft als gevolg hogere amplitudes van de ERN en tragere reactietijden. De verbale monitor moet verifiëren dat het daadwerkelijke antwoord de correcte respons is en dit zorgt voor een vertraagde reactie. In de ongerelateerde conditie is deze verificatie van minder belang. Dit omdat ongerelateerde distractoren niet leiden tot coactivatie van gerelateerde lexicale concepten en dus tot minder competitie tussen de alternatieve antwoorden. In Hoofdstuk 5 worden bovenstaande resultaten herhaald en verder uitgebreid. In tegenstelling tot de vorige studies, waar ik een foneem-detectie taak heb gebruikt (Hoofdstukken 2, 3, en 4), heb ik in Hoofdstuk 5 een plaatjesbenoeming taak gebruikt. Proefpersonen werd gevraagd plaatjes te benoemen in een semantische context (b.v., hand, mond, arm, been, en voet) en een ongerelateerd context (b.v., hand, giraffe, stoel, jurk, en bus). Daarnaast heb ik ook de motivatie van proefpersonen beïnvloedt. Voor gemaakte fouten in de zogenaamde hoog-motivatie conditie kregen proefpersonen te horen dat er een financiële straf zou volgen. In de laag-motivatie conditie kregen de proefpersonen geen straf maar ook geen beloning. Proefpersonen waren langzamer, maakten meer fouten, en de amplitude van de ERN was groter in de benoeming van plaatjes bij semantisch gerelateerde blokken in vergelijking met gemengde blokken. De verhoging van de amplitude van de ERN en reactietijden in semantisch gerelateerde blokken is hoogstwaarschijnlijk een gevolg van de gelijktijdige activering van concurrerende lexicale items waardoor er meer conflict plaatsvondt op het moment van de respons. Als gevolg van de gelijktijdige activering van concurrerende items, is de verbale zelfmonitor meer actief in de semantische gerelateerde context dan in de ongerelateerd context, om te verifiëren dat de daadwerkelijke respons de correcte respons was. Manipulatie van de motivatie had geen effect op reactietijden of foutenscores. Echter, de amplitude van de ERN bleek hoger en vertraagd in de hoog-motivatie conditie in vergelijking met de laag-motivatie conditie. In de hoog-motivatie conditie hadden fouten meer consequenties voor sprekers dan in de laag-motivatie conditie, dus moest de verbale monitor alerter zijn om te verifiëren 145

Chapter 8. Samenvattimg of de geselecteerde respons correct was of niet. In de hoog-motivatie conditie was foutendetectie waarschijnlijk vertraagd om te verifiëren dat de geselecteerde respons daadwerkelijk de correcte respons was. In de laag-motivatie conditie was deze verificatie sneller en minder belangrijk, omdat fouten geen erge gevolgen hadden. In Hoofdstuk 6 wordt onderzocht hoe de ERN door een meertalige context wordt beïnvloed. Nederlands-Engels tweetaligen zagen witte Nederlandse woorden die ze moesten classificeren. Hun taak was om een beslissing te nemen over het grammaticale geslacht van het woord. Proefpersonen kregen ook gekleurde woorden te zien die ze moesten classificeren op basis van hun kleur. De gekleurde woorden waren Nederlandse mannelijke en onzijdige woorden en de Engelse vertaling van deze woorden. De proefpersonen presteerden slechter bij incongruente trials wanneer er geen overeenkomst tussen kleur en grammaticale geslacht was. Op congruente trials was hier van geen sprake. Uit het onderzoek bleek dat proefpersonen meer fouten maakten en een hogere ERN hebben op incongruente dan congruente trials. Dit effect was onafhankelijk van de taal waarin de gekleurde woorden werden gepresenteerd. Dit kan erop wijzen dat wanneer meerdere talen tegelijk actief zijn, de monitor meer moeilijkheden heeft om de talen apart te houden en daarom meer last heeft van intrusies van de andere taal, wat leidt tot meer conflict tussen strijdende responsen en meer fouten (zie ook Hoofdstuk 3). Deze resultaten laten ook zien dat sprekers onder bepaalde omstandigen sommige grammaticale karakteristieken van hun eerste taal naar hun tweede taal kunnen overdragen (b.v. grammaticaal geslacht), ook als zulke karakteristieken eigenlijk afwezig zijn in de tweede taal. Samenvattend blijkt uit dit onderzoek dat er een conceptuele overlap is tussen theorieën over de verbale monitor en een algemene uitvoeringsmonitor. Beide theorieën claimen onafhankelijk van elkaar dat, om een fout op te kunnen sporen, de monitor een vergelijking moet maken tussen de correcte respons en een kopie van een daadwerkelijke respons. Als er geen overeenkomst is, dan is er sprake van een fout en beginnen corrigerende processen te werken. In een reeks van experimenten heb ik aangetoond dat er een typische ERN voor verbale fouten in verschillende verbale taken was en dat de ERN afhankelijk was van een verbale beslissing (Hoofdstukken 2, 3, 4, 5, en 6). Sterker nog, in de Hoofdstukken 4 en 5, heb ik laten zien dat de ERN niet alleen aanwezig was voor verbale fouten maar ook gevoelig was voor lexicale conflicten. Mijn bevindingen leveren convergerend bewijs dat de verbale monitoring niet een apart proces is, maar eerder een specificatie van de algemene monitor. Bovendien tonen huidige bevindingen aan dat de ERN gebruikt kan worden als elektrofysiologisch middel om de verwerking van fouten in taalonderzoek te meten.

146