人脑额下回句法和语义加工的不同时空模式



文献:Zhu, Y., Xu, M., Lu, J., Hu, J., Kwok, V. P., Zhou, Y., … & Tan, L. H. (2022). Distinct spatiotemporal patterns of syntactic and semantic processing in human inferior frontal gyrus. Nature Human Behaviour, 1-8. https://doi.org/10.1038/s41562-022-01334-6

1. 研究背景 ¶

由乔姆斯基提出的关于语言学的一个经典理论认为,句法计算系统是人类语言的核心组成部分,它产生内部表征并将其映射到感觉-运动(语音)和概念-意向(语义)系统。这一经典的观点导致语言学长期致力于在大脑中区分专门句法加工和其他语言加工区域的研究。支持存在专门句法加工区域的证据主要来源于脑损伤的研究,例如很多研究表明句法缺失性失语症表现在具有局灶性(Broca区等)损伤的患者,并且神经影像学证据表明涉及大脑语法加工的区域在左额下回(IFG),有神经影像学证据表明句法构成了一个语言模块,这个模块在语义信息之前加工。

与上面的模块化观点相反,有证据表明句法和语义加工都能激活包括额下回和颞中回颞上回在内的额颞叶,这些区域并不是句法和语义加工所独有的。并且失语症的研究也表明,失语症患者大脑的损伤的区域并不是一致的。这些证据表明句法和语义的加工是高度整合的而不是分别基于特定区域加工。

虽然以上两种证据所支持的观点是相反的,但是两者之间并不互相排斥。比如,如果以更精细的尺度描述语言加工,那么句法和语义可能分别在例如额下回区域内不同的子神经网络进行加工,但是传统的神经功能成像技术无法在更细的空间尺度上区分相关区域。

2. 本研究 ¶

为了验证这个解释的可能性,本研究用高密度皮层脑电图(ECoG)来检验能否在更精细组织层次上在左额下回分离句法和语义加工过程。之前相关研究主要使用的是fMRI和ERP,这些方法在揭示更精细的组织功能上的语言加工上受限,而高密度ECoG在空间和时间上有更精细的分辨率。本研究中使用的是汉语,即一种没有屈折变化和形态学变化以及其理解主要依赖于语境的语言。

3. 研究方法 ¶

实验用脑成像记录了10名清醒状态下进行脑瘤手术的普通话母语者的神经活动,年龄在19至50岁,6名女性。在被试在加工汉语句子并判断书面句子是否正确时用128个电极的网络记录了皮层下脑活动,本研究主要关注的是左IFG的电极。使用经典的违反范式来对本研究结果与之前关于字母语言的相似范式的结果进行比较。研究假设违反规则的单词会召集额外的神经资源对语言的某个方面进行加工。

图1

所有的被试都执行了4种任务,(1)正确句子即CORR(correct sentences),这些句子有正常的主谓宾结构;(2)局部短语违反语法即SYN-P(syntactic violation of local phrase ),就是在名词之前插入一个程度副词;(3)违反句法范畴即SYN-C(violation of syntactic category),名词性主语被形容词所替代;(4)语义违反即SEM(semantic violation),动作与宾语的语义相矛盾。在这四种情况下,第一宾语都充当了关键词,图中黑线表示单词刺激呈现时间(400毫秒),紫线表示注视时间(100毫秒)。

其中有5名被试执行了包含语法和语义的联合违反任务(combined violation task ,COM),另外5名被试执行一个非语言(non-linguistic,NL)任务,以作为一个非语言的基线,在这个任务中给被试呈现一系列几何图形,让被试监测这些图形是否变了。这些NL任务就是用于测试增强的脑活动是否是由语言所特有的违反操作所引起的还是一般性的违反操作所引起的。

4. 结果 ¶

使用分类算法来检查频率成分,结果表明高γ(HG)成分(>70Hz)以最高的准确度(>80%)来区分不同的情况,并且与其他频率波段相比ERPs在HG波段(70–150 Hz)更为突出,下图c表示使用高密度网格电极(灰色)对被试3的大脑进行MRI重建,红色代表对语言刺激有反应的电极,可以看出大多数对语言刺激表现出活性增强的电极位于IFG。相反,在NL任务中,违反情况主要在较低的频率下表现出活动增强。这表明语言和NL任务的神经震荡可能发生在不同的频段。因此下面把分析集中在IFG中的HG电极(70–150 Hz)。

图2

上图d表示一名被试从第一个呈现的单词到最后一个单词的大脑皮层活动,上图d中可以看到,在语言任务中仅在关键词之后观察到相比于CORR,违反条件下有活动增强,这表明反应与违反操作高度相关。

图3

上图e表示在关键词之后的代表性电极活动,进一步证实了语法或语义违反操作引起神经活动增强。

然后研究进一步测试是否存在特定的电极分别对语法或语义违反作出反应,结果发现不同情况下的电极反应是不相似的(下图a)。为了进一步证明电极是否只对某类或者多种违反都作出反应,研究定义了如果某个电极在某类违反情况下它的神经活动与CORR相比增强时间超过50ms以上,研究把它定义为具有显著效应,有58个电极符合标准,并做进一步分析。结果发现其中有49个只对某一类违反情况有强烈反应(下图b),只有9种电极能被两种违反类型共同激活,主要由SYN-P和SYN-C共同激活。

图4

并且研究进一步发现,对于对联合违反条件(COM)做出反应的电极中78.3%的电极对句法违反(SYN-P)也表现出活动增强,但只有26.1%的电极对语义违反(SEM)做出反应,这可能表明句法分析的功能优势。此外,对语言刺激做出反应的电极不会对NL违反做出反应,表明这些电极的反应是特定于语言处理的。这些结果表明,在单电极水平上,句法加工的神经反应与语义加工和非语言的加工在空间上是分离的。

图5

为了在更大范围内检验句法和语义加工是否存在空间分离,应用了核密度估计(KDE)分析来表征空间拓扑结构并定位每种条件下的激活中心,如上图d所示,与电极水平不同,结果没有观察到句法和语义条件激活的空间中心有分离趋势,同样,使用电极簇的排列测试没有显示分离(上图e)。

研究用模拟方法量化了语义和句法加工分离的尺度,模拟了覆盖相邻区域的电极百分比,然后将其与观察到的共同增强的电极百分比进行比较。图f结果表明,功能电路的直径小于等于3.25毫米。这些结果表明与句法和语义加工独特相关的电极在电极水平上是独立的。同时研究也表明当加工正确的句子时,专门对句法和语义作出反应的电极也参与句法和语义信息的处理。

下图a表示的是示例电极的时间进程,表明不同类型的违反有不同的时空模式,不同情况在关键词之后400至700ms达到峰值,研究汇集所有的电极反应发现不同情况的反应开始和峰值时间不相同,如下图b,c所示,研究基于ANOVA量化了潜伏期差异,如下图d所示。结果表明SYN-P的起始和峰值都早于SEM和SYN-C,SYN-P的起始和峰值早于SYN-C。在SYN-P中违反语法的词一旦出现就能立马监测到,而在SYN-C中由于形容词并不是直接附着在名气前面,它们之间可能还需要加一个“的”,因此当被试看到关键词还没有看到后面附着的时不会认为关键词违反了语法规则。这可能解释了为什么SYN-C的起始和峰值都晚于SYN-P。

图6

5. 讨论 ¶

结果证明了左IFG中与句法和语义加工独特相关的不同时空活动模式,表明该区域分化为不同的回路,这些回路在它们相应的时间过程中独立处理句法和语义信息。与之前的颅内电生理研究结果一致,该研究确定了在IFG处理不同语言成分有不同的时空活动模式。未来研究的一个重要目标将是在更精细和更大的大脑尺度上表征语言的不同子成分和模块之间的相互联系,以更好地理解语言处理的计算架构。

支持句法和语义整体加工的人会质疑本研究的实验条件是否能够选择句法加工而非语义加工,甚至这是否是一种有用的加工。同时研究也有限制,首先,研究中使用简单的几何形状判断作为控制任务,以排除违规操作引起的增强活动是由于一般违规加工的可能性,但还需要更广泛的控制条件,包括语言违规控制(例如,使用拼写违规任务)和NL违规控制(例如,使用音乐或算术表达式),以提供更强有力的证据证明句法和语义处理的特异性。第二,SYN-C中的关键词在句法类别上与其他条件不匹配(即SYN-C中的关键词是形容词,而CORR/SEM/ SYN-P中的关键词是名词),这可能会导致SYN-C和其他条件之间的不同时空模式。句法和语义条件下不同的时空激活模式不能完全由词汇或句法类别的差异来解释。未来的研究需要了解这种矛盾如何影响临界效应。