句子理解中句法和语义的交互作用:句法和语义违反结合的ERP效应



Hagoort, P. (2003). Interplay between Syntax and Semantics during Sentence Comprehension: ERP Effects of Combining Syntactic and Semantic Violations. Journal of Cognitive Neuroscience, 15(6), 883–899. https://doi.org/10.1162/089892903322370807

本研究采用事件相关电位技术,将语法违反和语义违反相结合,与单纯的句法和语义违反的脑电成分(N400和P600/SPS)进行了比较。句法违反是句中或是句末名词短语(NP)的定冠词与名词之间的性/数不一致。语义违反是名词短语中形容词与名词之间语义不匹配。语义、句法双违反是将两种违反结合起来。当被试在阅读违反句和正确控制句时,记录他们的脑电反应,分析有句中或是句末名词诱发的脑电成分。语义违反诱发的N400效应因为句法违反而变大(句法违反促进)。相反,句法违反诱发的P600/SPS并没有收到语义违反的影响。这就表明在没有句法歧义的情况下,句法结构的指派是独立于语义内容的。而语义整合受到句法加工的影响,由于句中违反的影响,在句末位置有额外的全局加工。句末单词的N400波幅增大,但是与违反无关。一项测速的实验结果显示,语义违反加工时间要比句法违反加工时间长。这些结果与N400和P600/SPS效应的潜伏期、加工特征相关。总之,本研究的结果显示在线句子理解加工中,句法和语义的交互作用是不对称的。

句子的形成和解释时限制的类型是有效,这一结论已得到了广泛的认同,但是在句子加工机制中,这些限制如何实施仍不明确。一个关键的问题就是在阅读和理解中对句子的语义整合与句法结构理解之间的交互作用是怎样的,什么 时候进行的。一种观点认为在句子理解中,句法分析是自主的,不受语义因素影响(Frazier,1987)。另一种观点认为语义信息对句法分析起引导性作用。对于此争论不同观点之间的差异主要是由于研究中句法的限制在哪并没有明确的区分。

本研究采用ERP技术,探究在句法结构能够计算词串中提取出的词汇句法信息的情况下,句法信息和语义信息的相互作用是怎样的。

为了探索在语言理解中语义整合和句法分配的相互关系,研究者采取了完全析因设计(full factorial design),被试不仅会碰到语义或者句法的违反,同时也会碰到语义句法双违反的类型。 图1展示了实验设计。

图1

在已观察到的语义和句法违反ERP效应的基础上,可推断出:语义整合过程会诱发N400,而语法分配过程则会诱发P600/SPS(或是其他ERP成分,例如LAN成分)。我们的假设认为如果语义整合和句法分配是完全独立的加工过程,N400和P600/PSP的产生就是不重叠的。然而如果二者间有相互作用,那么就会产生非叠加性。

24名(女20,男4)。 年龄范围是21-34岁,平均年龄24.6岁。所有的被试视力正常或矫正后正常,右利手,没有精神病史。

本研究的实验语料为320个荷兰语句子,包含4种类型: ①句法违反:句中的定冠词和名词之间的性和数的一致性违反(Synt-), ②语义违反:句中的形容词和名词之间匹配(Sem-), ③双违反:句中含有两种违反(Synt-,Sem-), ④正常句子:句子在语义和语法上均正确(语料举例见表1)。

表1

在语义正确和语义违反的句子中,不同的与名词组合,形容词控制了词长和频率。本研究的语料中探测的位置不同,一半是句中的第一个名词短语(句中违反),另一半是句末的名词短语(句末违反)。这两种位置不同的违反都是性/数的一致性违反,语义的违反也是在相同的位置,且比较明显。这样,词汇的差异并不会影响违反效应。

语料中,50%的句子含有句法违反,50%的句子含有语义违反。一半的语料在探测位置用的是复数形式。为了能够保证通性冠词和中性冠词后的名词的性/数的违反出现的频率一样,研究者又添加了160个填充语料。这样被试就不能根据概率或句子语境来预测性/数一致性违反的情况。这些语料被均等分成四个部分,每个被试看到的句子没有重复。

除了上述的实验语料,材料还包含了20个练习和15个启动语料,句子的平均长度是7.7个词(SD=1.2个词)。单词最长不超过12个字母,探测位置的名词最长是10个字母。所有的句子都是简单的主动句和被动句。

所有的被试均要求认真阅读句子并理解,判断句子是否可以接受。句子由高分辨率屏幕逐词呈现,每个单词呈现300毫秒,词间隔300毫秒,句子的最后一个词与句号一起呈现。一段延迟之后(最小是1秒),屏幕呈现一排星号,此时被试需要进行按键反应,来判断句子是否可以接受。被试要求尽量在星号出现的时候眨眼,以减少眼动对关键词位置ERP波的影响。星号出现的时间是2秒,然后是1150毫秒的空屏,空屏过后是下一个句子。

在正式实验之前,每个被试有20条练习来熟悉实验,整个实验共有5段,每段15分钟,每段之间有短暂的休息。前三段是启动语料。整个实验持续约1小时45分钟。

以左侧乳突为参考,采集头皮上的13个电极点。ERPs数据分别采集中部位置(Fz, Cz, Pz),前额(F7, F8),按国际10-20系统放置(Jasper, 1958)。 ERP数据记录左右半球前额叶((LAT, RAT),左右半球颞叶(LT, RT),左右半球颞顶部(LTP, RTP),左右半球枕部(OL, OR)。垂直眼动和眨眼通过supra-to suborbital bipolar montage监控。从右到左的水平眼动由canthal bipolar montage 监控。EEG和EOG的在线采样频率为200Hz。采样在句子出现之前的150毫秒,一直持续到星号的出现。

在离线平均之前,对所有单试次波形都排除了电极点漂移,放大器阻塞,肌电伪迹,眼动和眨眼。包含伪迹的试次全部去掉,共去掉了16.2%的数据,均衡分布在各个条件中。

正确句子的可接受度达到 95%;违反的句子接受度如下:句法违反条件,97%认为是不接受;语义违反条件,90%认为不接受;两种违反条件,99%认为不接受。 这些数据很充分说明了被试对语义违反和句法违反的敏感性。

研究者分析了句中违反和句末违反的 ERP 效应。

图2A和B呈现了句中违反时,三种违反条件下中部的电极(Cz)记录的名词的ERP波。所有的违反条件下的ERP波形差异都是很明显的(见图2A)。

图2AB

在120毫秒左右是N1成分,在200毫秒左右是P2成分,在400毫秒左右是N400成分。不同条件下,N1的波幅有差异。尤其是语义违反结果中N1轻微的减小。而P2的波幅在三种条件下基本相同,N400波幅并没有受到N1差异的形影。

另外,其他电极点(例如LTP,Pz,RTP,OL,OR等,见图3)N1的波幅在语义违反条件下并没有差异,并且比其他违反条件下波幅稍大。在语义违反和句法违反条件下,N400的波幅有差异,因此并不能用N1波幅的差异做解释(见图3)。

图3

在句法、语义双违反的条件下,N400的波幅最大。与控制条件相比,N400的波幅在语义违反条件下要大,而在双违反条件下则稍小。观察其他的电极点(图3),N400在双违反的条件下波幅最大。句法违反条件下,300-500毫秒潜伏期内,左半球前颞部位的波幅增大。N400后紧接着的是一个正向的偏移,在句法违反的调价下波幅最大。这个正偏移在500毫秒的时候开始,并持续到下一个单词的处理阶段。其他电极点(图3)显示这个正偏移在中央顶部最大,成双侧分布。根据其走向、潜伏期和头皮分布,此正偏移就是P600/SPS成分。

图4A和B显示了句子最后的名词短语的波形叠加。在句中违反的波形中,我们可以很明显的看到双违反的时候N400效应最大。

图4AB

图5显示了相对与语义违反条件,双违反条件下波幅增加,在前部区域最明显而在后部位置却没有。P600/SPS在N400之后,与句中违反具有相类似的头皮分布。然而与句中违反的句法违反条件相比,在句末违反中句法违反条件下,P600/SPS在300-500毫秒的潜伏期内有一个广泛分布的负走向。在侧部位置,这个负走向从额叶到顶叶增加(见图5)。在中线的位置,这个效应在中部的电极(Cz)最大。同时可以在图5中看出,P600/SPS效应在后部区域,包括Cz最明显,没有发现半球的不对称性。

图5

作者比较了句末违反和句中违反两种条件下的ERP波。图6是Cz点的句末违反条件下N400效应,我们可以看出三种违反条件下与句末违反相比较,句中违反都诱发了一个大的,潜伏期长的负波。这种效应在后部位置最大,并没有半球的不平衡性。

图6

图 7 总结出了句中违反和句末违反三种违反的结果。两种位置违反,语义违反的潜伏期比句法违反和双违反的潜伏期长,我们潜伏期进行分析用重复测量方差分析。结果显示句中违 反和句末违反的违反类型主效应非常明显(F(1,23) = 37.0, p <0.001;F(1,23) = 14.6, p <0.001)。

图7

本研究获得的 N400 和 P600/SPS 效应分析显示句法对于语义 N400 有影响,但是语义对句法 P600/SPS 没有影响。双违反比单语义违反诱发了更大的 N400,但是句法违反和双违反的 P600/SPS 并没有差异。

结果表明语义和句法分析是不对称的即语义整合并不影响句法分析。在线加工中,语义和句法没有交互作用,语义效应和句法效应应该是附加的。