动作相关语言理解中的 MU节律的时频分析



文献:Moreno, I., De Vega, M., León, I., Bastiaansen, M. C. M., Lewis, A. G., & Magyari, L. (2015). Brain dynamics in the comprehension of action-related language. A time-frequency analysis of mu rhythms. NeuroImage, 109, 50–62. https://doi.org/10.1016/j.neuroimage.2015.01.018

论文原文

动作相关语言目前是一个活跃的研究领域,即所谓的“embodied semantic approach to linguistic meaning”。这种方法声称,意义建立在我们与世界的感知和运动互动之上。从神经生物学的角度来看,具体化理论假设语言理解部分依赖于特定模态的神经系统进行感知和行动。神经影像学研究表明:运动激活在处理单个动作动词和含动作句子时都会出现。但这种运动激活是由单纯动作词汇激活还是某种程度依赖于上下语义?有研究表明:运动激活在动作动词出现后约150-200ms时是自动发生,是作为动词词汇处理的一部分。又有研究表明:与阅读相关的运动皮层的激活是一个非自动的、依赖于上下文的过程,涉及整个句子的词汇-语义整合。本文作者比较赞同后一种观点,且后一种观点的实验证据年份都比较靠近15年:动作动词句会出现运动激活,但是俗语句中使用同样的动词却不会引起运动激活。若是运动激活在遇到动作动词时就自动激活,俗语句中的动词出现时也应有运动激活才对。 本文使用的脑电的优点: 1,通过记录脑电图中μ和β振荡节律的瞬间变化,这些节律通常被认为是大脑运动过程的标志。 2,Mu节律是在运动和前运动皮层中产生的8-13 Hz的振荡,为了解运动激活的时间动力学提供了一个高分辨率的窗口。 3,具体而言,μ同步反映了与失活的运动皮层相关的神经活动,而μ抑制或去同步可归因于运动和运动前皮层的神经活动增加(Kuhlman,1978;Pfurtscheller等人,1997年)。因此,当参与者移动、观察他人的动作或想象自己的动作时,这些节奏会被抑制或不同步,尤其是如果这些动作是手动的(Cochin等人,1998;McFarland等人,2000a,2000b;Pfurtscheller等人,2006年;Pineda,2005年)。

“Moreno et al. (2013)” (Moreno 等, 2015, p. 51)的实验表明:动作语言和动作视频都会导致额中央电极的μ(8-13 Hz)和低β(15-20 Hz)功率抑制,而抽象语言则不会,这证实了理解动作语言会激活大脑中的运动网络。但该实验无法做时频分析,以辨别运动激活与动词或句子之间的关系。“van Elk et al. (2010)” (Moreno 等, 2015, p. 51)的实验采用了时频分析,发现不同主语携带的动词会引起的不同幅度的mu和beta抑制。但该实验没有添加非动作句的对比,导致无法证明这样的节律不同完全是由动词介导的。 “Fargier et al. (2012)” (Moreno 等, 2015, p. 51)的实验采取不同实验范式,他们训练被试将新词与动作相关视频联系起来,在第2次的单独新词呈现时,就出现了“at fronto-central sites.” (Moreno 等, 2015, p. 51)的mu抑制。

1,确定大脑中的运动过程是否是动作语言特有的。

为此:设计动作句和非动作句的对照:研究mu与beta调节有何不同。 作者期望从动作句中发现μ和β调节(抑制),但在抽象句中没有,与作者之前研究发现的结果互相证实(Moreno等人,2013) 根据实验设计希望额外发现的内容: 因为实验设计,除了动作句和非动作句(抽象句,指向精神状态或者处理过程的动词)的对照,还包含一组感知句(与感知相关的动词)。可能结果: (1)只有动作句调节mu节律,意味着运动皮层活动对动作句的语义非常特殊。 (2)感知句子也在一定程度上调节mu节律,可能原因是a.因为句子描述的感觉过程也涉及头部运动或身体姿势变化等运动动作,或者是b.因为感知和动作的处理过程在大脑中密切相关。如果是b原因,那么作者认为应该在感觉运动电极上观察到对动作和感知条件同样强烈的μ和/或β抑制。 (3)因为感知动词大多描述的是视觉事件,所以作者期待在负责视觉处理的皮层区域(即枕叶和颞下叶)发现不同的激活,从而在这些区域产生不同的α抑制。

2,判断运动激活时单纯由词引发,还是运动皮层需要整合完整的语言单位(联系动词的上下文)来建立一个完整动作的特定运动模拟。 为此:对测试动词进行挑选,选择需要动词前后名词辅助搭配才能形成完全语义的动词。 例如open hear; 可能结果: (1)μ/β抑制只发生在动作动词上,这将支持运动活动的调节纯粹是词汇的观点。意思就是,不管动词是单独出现还是出现在句子中,运动激活都是由动词引发的。 (2)动词后面的名词出现mu/beta抑制,我们可以假设,**如果动词存在上下文,**运动激活的调节是由句子中的意义整合调控的。

这里要注意,如果仅是单独的动词,它所引发的运动激活就是由单词本身调控的。前人研究也证明了这一点。本文研究得出的结果说,如果动词存在上下文,mu/beta调制应有完整动词句子来调节。其实从运动激活的意义角度来看,是由有道理的,因为van Elk2010那篇文章所推论出的运动激活其实是语义检索的过程,那当动词有了上下文之后,这种激活肯定是为了整体语义进行考虑的。自然就为整体句子所调控。

3,此外还搭配了另一个语义不恰当的宾语来看如果句子整体语义存在歧义 语义整合通常与ERP的N400成分相关(在中心-顶叶电极上发现的负偏转,在单词开始后约400ms达到峰值)。因此,可以预期在动词后面的名词开始后会产生N400效应,其中出现了句子的一致性或不一致性。 实验设计如何解答这个问题?因为N400成分会在最后一个动词限制的名词成分后出现。 (1)N400成分与mu/beta调制时间上一致;意味着,运动激活的代表成分mu/beta抑制是在整个句子语义整合之后出现的; (2)mu/beta时间上在N400成分之前;意味着运动激活只看关键的动作动词。

4,估计实验中出现的显著的μ/β效应的神经来源。

大多数分析μ/β节律的研究都认为,它们在头皮的额中央分布意味着它们是在(前)运动皮层中产生的。而研究者希望通过使用源估计算法来估计效应的实际神经元发生器,从而更具体。最终,希望能够揭示动作句(运动网络)和感知句(视觉网络)的不同大脑来源。 本实验材料设计:本段内容在introduction的第5段 对比动作句和非动作句引发的μ、beta抑制,设置三种形式,手部动作动词(cut)、抽象动词句子(doubt)、感知动词句子(notice)。 例句设置,you开头,因为有文献研究认为you这个代词最能引发以自我为中心的观点(自我效应最强?),使用未来时态will,因为准备执行一个动作比已经执行的动作会引发更强的运动。

实验句子共设置225句, 120句语义一致句(最后宾语与前文语义一致,手动动作、抽象、感知句子各40句);

(1)40个一致性动作句子(CA)指的是具体的手动动作;

(2)40个一致的感知句子(CP)指的感觉过程;

(3)40个相同的抽象句子(ABS)指的精神状态或过程。

80句语义不一致句(仅有手动动作句和感知句);

(1)40个不协调动作句(IA)指不可能的手部动作;

(2)40个不一致感知句(IP)指不寻常的感知体验(见表1)。

图1

(3)未设置没有不协调的抽象句,因为其对本实验对比不必要。

25句catch trials(目的是“a coherence judgment prompt.”因为目标句呈现是挨个出现的,所以要求被试判断这25个句子是否连贯 (Moreno 等, 2015, p. 52))这部分会随机出现在正式试验中,以验证被试注意力集中在实验中。

实验句子创建时要满足条件: 句子均为第二人称单数、将来时。“a function word; the first noun; a function word, and the second noun, as illustrated in Table 1.” (Moreno 等, 2015, p. 52) 动词和名词之间在以下因素上都是匹配的:音节数(2或3)、全词频、习得年龄、熟悉程度;具体文中的materials and design中有详细解释使用什么方法来确定材料的选择。

在实验过程中,参与者坐在静音房间,句子是按随机顺序排列的。每句话都是逐字呈现在屏幕中央。如图2所示的时间顺序,单词在灰色背景上以黑色字符呈现。为了保持参与者对任务的注意力,参与者要进行连贯判断(是否连贯?是/否),“L”键和“A”键,分别表示“是”和“否”。每一句话都会一直显示在屏幕上,直到参与者做出回应,或者最多持续3000毫秒。参与者回答后,屏幕空白4000毫秒,然后星号表示下一次试验将在2000-2500毫秒内开始。参与者在单词出现在屏幕上时尽量减少眨眼。有8次练习,然后是225次单组实验,耗时约36分钟。

图2

1,比起抽象动词、感知动词句子,额中部的的μ抑制与动作动词句子有关。 2,在句子中,条件不同引起的差异出现得很晚。动作VS抽象动词时,是在阅读第一个名词时;动作VS感知动词时,是在阅读动词后的第一个名词时。作者认为这表示了运动激活与动作动词词汇处理之外的单词在句子中的整合有关。

P300成分,句子类型对比中,前后语义不一致的动作句(IA)显著高于前后语义一致的动作句(CA) 图3右上显示了其中的代表性电极Fz的总平均ERP波形;

图3

1,CA-ABS、CA-CP在额中央区(FC1、FC2、C3、Cz和C4)显著; 2,IA–CA比较在顶枕区域(PO7、O1、Pz、O2和PO8)产生了明显影响。

1,CA句:fronto-central region,从动词开始后约200ms开始,在μ频率范围内的功率下降,并延伸到句子的其余部分,包括名词1和名词2(图4A左上部分:横轴0.2s开始,出现8-13Hz的持续频率下降)。

图4

2,ABS句: μ频率范围内的功率小幅下降:仅在动词开始后约300至700毫秒之间出现; 持续上升:从名词1开始(1300毫秒)左右开始增加,并持续到名词2结束(3300毫秒)(图4A的右上部分所示) 3,CA-ABS: 在整个句子的6–13 Hz频率范围内,CA和ABS条件之间存在强烈的负差异(见图3A的左下部分)。 统计对比CA–ABS在6–13 Hz的频率范围内显示出两个显著的负簇: (1)1500ms-2300ms(p=.01):Noun1开始后约200ms出现;定位后,最强效应位于为围绕着右额上回的BA6 (2)2600ms-3400ms(p=.001)   :Noun2开始前后,定位后,最强效应位于围绕着左侧颞上回的BA39; 结果解释:意思就是动作句和抽象句对比,明显动作句在动词出现后的0.2s开始在额中央区出现运动激活,抽象句一点点运动激活。 两个显著的副簇的意义是:动作句在名词1、2出现后进行了语义提取和整合,所以在此处出现了强烈的运动激活。例句:you will open the door of the house.

1,CA句:fronto-central region,从动词开始后约200ms开始,在μ频率范围内的功率下降,并延伸到句子的其余部分,包括名词1和名词2(图5A左上部分:横轴0.2s开始,出现8-13Hz的持续频率下降)。

图5

2,CP句: 功率下降:从动词开始后400ms-2300ms; 功率增加:2300 ms-2500 ms; 再次功率下降:名词2开始前后(2600 ms)-句子结束

3,CA-CP:负差异贯穿全句,出0-200ms及700-900ms之间出现小的正差异。 有一显著负聚类:在动词开始后约2800-3400 ms(p <.05),即在名词2开始后约200 ms开始。该簇定位后,效应最强的位置是围绕着额上回的BA6。

1,IA句:功率下降,顶枕区,低β范围(13-20Hz),从动词开始,延伸到整个句子(见图6A左上部分); 2,CA句:低β范围(13-20Hz),功率下降,从动词开始后的200ms-整个句子,除2200-2500ms略有增加(见图6A的右上部分);

图6

3,IA-CA:全句存在负差异 第一个正差异:动词开始后400-2200ms存在正差异 第2个正差异:2.2-2.5s之间是正差异紧随负差异 ,直至句子结束。 一个显著的负差异簇:verb onset2200-2500ms,low beta带,左颞中回周围的BA19,对应着纹状体外区,“the extrastriate body area (EBA)”

本文进行脑电来源重建证实,前后语义一致的动作句产生的μ抑制在运动前皮层BA6最强。语义正常的动作动词后面两个名词引发的μ抑制可为最大值(由Fig3C的两个簇的时间可提示),这表明,动作激活与动作句中多个单词的整合过程有关,而不是动作动词的纯粹词汇特征。IA-CA对比可获得:它们在脑后部区域对β频段的调制不同,来源估计是位于视觉皮层;特别是纹状体外体区(EBA),而不是运动皮层。

本研究设计的三组词类,动作、抽象、感知。作者的意思是为消除之前的结果是由词汇的具象性差异不同导致有不同的运动激活的结果。作者猜测处理动作语言和处理感知语言可能共享共同的神经元网络,从而以类似的方式调节μ节律。本文结果表明,位于额中央区的mu抑制主要是由语义一致的动作语言调节的(相比于感知句或抽象句)。语义一致动作句引起的mu抑制显著强于,且不同于抽象句引起的。动作句引起的mu抑制也显著强于感知句。不过此处更应该注意二者之间的时间差异。这可能表明,在一致感知句的理解过程中存在一些与运动相关的活动。但这种活动不足以在感知句和抽象句的对比中产生统计显著的差异。mu抑制的增加可以作为运动皮层激活的指标,及观察语义一致的动作语言处理的指标。

关于CA-ABS对比中,有cluster2源定位去BA39,此时被试正在阅读语义一致动作句的最后一个单词。作者给出对于这个簇的解释是:颞上回STG参与许多不同的功能网络,包括运动神经网络,与意志动作的高阶处理(Frith等人,1991)和手部动作(Buccino等人,2001)有关。考虑到我们的动作句总是指手的动作,我们可以推测颞上回的确定来源也与高阶运动处理有关。CA-ABS对比中两个显著的负簇与句中名词1、2出现的时间关系,表明句子中动词引发的运动相关激活在很大程度上取决于句子中词汇语义的整合。尽管在整个连贯的动作句中都存在一些mu抑制,但只有当动作动词和名词汇聚到一个具体动作上时才观察到最大mu抑制。 作者提出这样一种可能性,尽管挑选了常规下需要名词配伍才能表达完整意思的动词,但是当动词指向性太强时,不需要名词出现,阅读者也可以猜测到结果,那么仅由这个动词,便可引发运动激活。

本实验中为什么N400和语义一致的变量没有相关:可能是因为在设计实验材料时,更关注动作动词和感知动词的可行性,而不是考虑词汇的完形填空选择多少the cloze probability of the verb-nouns pairs。作者进行后验实验来证实解释。重新招募27人,让他们对实验的动作动词和感知动词进行后续的搭配名词造句,以让句子通顺。然后计算一组人使用到实验名词进行搭配的概率。后验实验结果,本文实验使用的动名词搭配,语义一致句的平均cloze probability为0.12,接近0,不一致句为0.07,也接近0.二者没有显著差异。这个原因可能就是导致IA-CA对比没有N400效应的原因。