听觉与视觉加工的ERP成分对比：句法违反在语音处理与快速阅读模式下诱发的 P600/SPS成分分析

Hagoort P., & Brown C.M. (2000). ERP Effects of Listening to Speech Compared to Reading: The P600/SPS to Syntactic Violations in Spoken Sentences and Rapid Serial Visual Presentation. Neuropsychologia, 38(11), 1531–1549. https://doi.org/10.1016/s0028-3932(00)00053-1. PMID: 10906378.

本研究将视觉和听觉两种通道下获取的句法违反ERP成分进行了对比。针对三类句法违反类型，研究者分别设计了两个实验。实验1以4词/s的速率快速呈现视觉刺激，关键词（导致句法违反的词）出现后 500ms左右，诱发了句法正偏移成分（P600/SPS）。从结果分析来看，P600/SPS包含两个阶段，早期阶段前后脑区分布相似，晚期阶段分布明显靠后。对此本研究给出了解释，P600/SPS早期阶段主要针对复杂句法的整合加工，晚期阶段则与相应的句法违反加工有关。实验2的语料内容与实验1相同，形式上转录为语速语调正常的听觉刺激。研究发现三种句法违反类型诱发的P600/SPS与视觉阅读加工情况大致相同。此外，有两类句法违反（一致性违反、次范畴违反）在P600/SPS产生之前还诱发了左前额叶负波（LAN）。

P600/SPS（句法正偏移）；LAN（左前负波）；自然语音；快速序列呈现；句法加工

在语言相关的ERP效应中，与句子加工相关的成分被标记为P600或SPS（Syntactic Positive Shif），在视觉呈现的情况下，该成分通常在刺激呈现500ms左右开始出现，并由句法违反所致。前人的研究中，P600/SPS效应由慢速视觉呈现加工模式诱发。与正常阅读速率（约4词每秒）和语音处理速度相比，这并不能匹配在线加工处理正常句的参数（速率）。虽然N400和P600/SPS效应可以区分语义or句法层面的加工，但刺激为语音输入或采用快速视觉呈现时，P600/SPS未必能很好的解释其特异性。基于此想法，研究者重点关注关键词诱发的视觉和听觉句子加工下的ERP成分。

此外，自然语音中的句法异常可以诱发一个清晰的（左）前负波，通常会出现在刺激呈现后400ms左右；而在Hahne和Friederici的研究中，（左）前负波效应要早得多（100-300ms）。这种差异是由于相对缓慢视觉呈现刺激或连续听觉刺激的不同所致还是与两种形式的刺激呈现频率有关，这点尚不清楚。因此，研究者通过两个实验进一步研究。其一是快速阅读视觉呈现；其二与连续语音处理有关。研究者希望以此区分不同呈现速率与呈现通道下的P600/SPS。

本研究中，研究者记录了并比较了听觉和视觉呈现下的 ERP 波幅，旨在确定听觉和视觉 形态下句子加工电生理反应的异同。这不仅可以证明句子加工是否依赖刺激输入形态，而且有助于进一步描述句法相关的 ERP 效应。

360个荷兰语句子分为两组，每组正确句与违反句各90句；每个违反类型又有30个正确和30个不正确的句子。这些句子被分到不同的list中，每个list 3段，练习语料30句（15正确+15违反）。 违反句主要有三类： （1）主谓一致在数量上的违反 主要包括语序（SVO, VSO）和数量违反。比如同一句子中限定动词或者名词主语违反。如： ·The spoilt child throws the toys on the floor. ·*The spoilt child throw the toys on the floor. （2）动词次范畴化违反 次分类的违反包括不及物动词，这些动词不能以名词为直接宾语。如： ·The son of the rich industrialist borrows the car of his father. ·*The son of the rich industrialist boasts the car of his father. （3）短语结构违反 指名词前的名词和副词语序不当。在荷兰语中，形容词-副词-名词的顺序违反短语结构语序。如： ·The husband [is startled] by the rather emotional response of his wife. ·*The husband [is startled] by the emotional rather response of his wife.

*被试：32名右利手健康被试，每个list16名。 *程序：实验刺激以白色小写英文字母（首字母大写）形式逐词呈现于灰色高分辨率屏幕中央，单个词呈现 129ms。刺激间间隔时间由每句内单词数量决定。试验任务即要求被试理解句子，整个过程持续2h。 *脑电：主要考察7个记录电极：中线电极Fz、Cz和Pz，两侧分别是前额叶T3、T4和颞叶F7、F8 （对称分布）。左侧乳突为参考电极。垂直、水平眼点和眨眼都被监测，右耳乳突为活动记录电极。头皮阻抗保持在5kΩ以下，采样率为200Hz。句子呈现前会有150ms的采样，并持续5.5s。

不同类型违反句和正确句的平均波形如图1.

图1

图1一致性违反条件，快速视觉呈现（RSVP）：7个考察电极中，语法性正确与不正确的关键词（CW）所诱发的ERP总平均波形（包括所有被试和条件）。关键词于0ms开始呈现。该图展示了关键词（CW）及其后四个词的波形走势。时间轴按毫秒计算。每张图大约有931个trials。本文所有图中，负波均朝上表示。图中点线示句法违反条件，实线示句法正确条件。

图2

图2一致性违反条件，快速视觉呈现（RSVP）。关键词（CW）出现后诱发的P600/SPS成分分别在500-750ms和750-1000ms潜伏期内的脑地形分布情况。在这两个时间窗内，句法正常与异常的平均波幅值差异体现在两个左侧电极点（ATL,PTL），三个中线电极点（Fz,Cz,Pz），以及两个右侧电极点（ATR,PTR）。

经方差分析，在两个时间窗，语法性的主效应显著.在第一个时间窗（500-750ms）内，P600在各电极点上波幅相当；在第二个时间窗（750-1000ms）内，脑后电极点的波幅更大。P600/SPS前的负波在Fz和Cz点上的波幅值无显著性差异（Fs<1）。

根据数据，P600/SPS之前的早期负波无可靠的结论支撑。次范畴化的句法违反与主谓数量一致违反诱发的成分在750-1000ms时间窗上大致相似，而在500-750ms之间差异明显。

如图3所示，P600/SPS成分主要分布于脑后（详见图4）。

图3

图3次范畴违反条件，快速视觉呈现（RSVP）：7个考察电极中，语法性正确与不正确的关键词（CW）所诱发的ERP总平均波形（包括所有被试和条件）。关键词于0ms开始呈现。该图展示了关键词（CW）及其后四个词的波形走势。时间轴按毫秒计算。每张图大约有931个trials。图中点线示句法违反条件，实线示句法正确条件。

图4

图4次范畴违反条件，快速视觉呈现（RSVP）。关键词（CW）出现后诱发的P600/SPS成分分别在500-750ms和750-1000ms潜伏期内的脑地形分布情况。在这两个时间窗内，句法正常与异常的平均波幅值差异体现在两个左侧电极点（ATL,PTL），三个中线电极点（Fz,Cz,Pz），以及两个右侧电极点（ATR,PTR）。

短语结构在句法上的违反可以诱发显著的正波（如图5）。

图5

图5短语结构违反条件，快速视觉呈现（RSVP）：7个考察电极中，语法性正确与不正确的关键词（CW）所诱发的ERP总平均波形（包括所有被试和条件）。关键词于0ms开始呈现。该图展示了关键词（CW）及其后四个词的波形走势。时间轴按毫秒计算。每张图大约有931个trials。图中点线示句法违反条件，实线示句法正确条件。

500-750ms内波形前、后分区大致相似，而750-1000ms分布更偏后（图6）。此外，脑后部的P600效应比前部更持久。

图6

图6短语结构违反条件，快速视觉呈现（RSVP）。关键词（CW）出现后诱发的P600/SPS成分分别在500-750ms和750-1000ms潜伏期内的脑地形分布情况。在这两个时间窗内，句法正常与异常的平均波幅值差异体现在两个左侧电极点（ATL,PTL），三个中线电极点（Fz,Cz,Pz），以及两个右侧电极点（ATR,PTR）。

根据统计数据，P600成分在第一个窗口（500-750ms）头皮分区上是均匀分布的，在第二个窗口（750–1000ms）内颞后分布更大。无论在整体还是个人电极点上，平均波幅值在350-450ms内无主效应。

研究结果有四点值得注意。 第一，即使四个字每秒的速率，对句法优先和优先结构的赋值是违反也会在ERP波形会引起一个实质性正波。有趣的是，该正波不同于研究者所观察的慢速率呈现下的波[11]。这一结果证实了研究者早期发现的阅读过程中句法信息处理在线特征的相关性。 第二，这些数据表明P600/SPS实际由两个部分组成，一个部分均匀分布在各电极点上，另一部分很明显发现后部电极点的波幅更大，持续更长。 第三，较之前研究，研究者观察到了次范畴的违反。在很大程度上，这与第二个时间窗上的P600/SPS效应有关。研究表明，次范畴违反条件下P600/SPS两个方面可以被分离。在这个特殊的例子中，可能是动词论元结构的语义和句法特征之间的内在联系导致了句子理解的语义和句法。因此，句法效应和语义结果可能会影响到整体效果，比如，头皮顶部可以同时看见N400与P600/SPS成分。 最后，与此前较慢呈现的研究对比，语义违反带来的N400效应的增强并未随即诱发P600/SPS成分。伴随视觉快速呈现，语义整合加工可能因新信息输入速度的变化而不同。 针对这些结果，研究者将设计听觉实验对这些功能解释进一步讨论。

*实验前测：研究者首先采用Go/NoGo按键任务测试了句子是否合乎语法。这个预测试主要是评估口语中是否也存在像书面语一样的句法违反。15人参与，统一统计正确率，见表1。

表1：三种违反的反应百分比

被试对不同类型的句法违反在听觉和视觉呈现的感觉上一样容易。对于这三种违反类型，关键词出现的1秒内诱发的P600成分延迟窗口相当相似。由此研究者认为，句法优先分配是不可能的。 *被试：30名健康右利手，23女，平均分2组。 *程序：要求被试听句子并理解，事先提示被试有些句子有语法错误，但不告诉他们有哪些具体的句法违反类型，被试注视屏幕正前方，使用耳机播放实验刺激。每个句子的平均长度为4.17s, 最短2.99s，最长不超过6.06s。句子消失后到下一个星号（呈现2s）出现之前会有一个至少500ms的延迟窗口，在此期间，被试允许眨眼；星号到下一个句子出现之前又有500ms的停顿。实验全长（包括准备时间）大约1.5小时。

听觉加工与视觉加工一样，三种句法违反类型均可得到清晰的P600/SPS。三种句法违反类型均进行了重复测量分析。三种条件各取了500-750ms，750-1000ms，1000-1250ms时间窗上平均波幅值进行统计分析。尽管短语结构条件在早晚时间窗上有轻微不同，从整体来看P600效应主要集中于后部头皮分区。不过，前部波形亦反映了句法效应的不对称性。

图7表明，一致性违反条件下诱发的P600成分在刺激出现500ms后开始且较靠后。

图7

图7一致性违反条件，语音处理（connectedspeech）：7个考察电极中，语法性正确与不正确的关键词（CW）所诱发的ERP总平均波形（包括所有被试和条件）。关键词于0ms开始呈现。时间轴按毫秒计算。每张图大约有786个trials。图中点线示句法违反条件，实线示句法正确条件。 经Z分数统计分析，三个潜伏期窗口上各电极点交互作用无显著性差异（F<1）。

图8展示了次范畴条件下诱发的波形图，同样是后部脑区波幅更大。就前部脑区而言，波形分布亦不对称。

图8

图8次范畴违反条件，语音处理（connected speech）：7个考察电极中，语法性正确与不正确的关键词（CW）所诱发的ERP总平均波形（包括所有被试和条件）。关键词于0ms开始呈现。时间轴按毫秒计算。每张图大约有786个trials。图中点线示句法违反条件，实线示句法正确条件。

短语违反诱发的波幅最大（见图9），而且依然是颞后P600效应最强。

图9

图9短语结构违反条件，语音处理（connectedspeech）：7个考察电极中，语法性正确与不正确的关键词（CW）所诱发的ERP总平均波形（包括所有被试和条件）。关键词于0ms开始呈现。时间轴按毫秒计算。每张图大约有786个trials。图中点线示句法违反条件，实线示句法正确条件。

一致性违反类型中早期负波主要分布于左右颞前部（ATL、ATR）；次范畴违反类型中只出现于左颞前部（ATL）；短语结构违反类型未发现左前负波。研究者取了350-550ms时间窗内的平均波幅值进行方差分析，相关因子是违反类型（一致性违反，次范畴违反）和语法性（语法正确，不合语法），结果为边缘显著（F(1,29)=3.74,MSe=1.64,P=0.06）。违反类型与语法性之间无交互作用（F<1）。

实验2结果表明，以正常语速语调加工听觉句子时，P600/SPS成分通常由一个不能优先分配句法结构的词诱发。 图10反映了相同违反类型（一致性违反）下，分别以1.7词/秒（慢速）、4词/秒（快速）视觉呈现和听觉呈现刺激时诱发的P600/SPS成分。

图10

图10 在一致性违反条件下，听觉呈现、慢速和快速视觉呈现刺激诱发的P600/SPS。听觉呈现、1.7词/秒和4词/秒视觉呈现时，Pz点三条波形差异对比图。关键词（CW）于0ms开始呈现。时间轴按毫秒计算。图中实线示视觉呈现（1.7个词/秒），断线示视觉呈现（4个词/秒），点线示连续语音。

本实验证明了P600/SPS不仅出现在阅读中，听觉加工上的句法违法也可诱发P600/SPS，也就是说，两种刺激输入形态（视觉、听觉）在句法上的加工机理是相同的。

研究者在视觉和听觉句法违反加工中均得到了P600/SPS成分。视觉和听觉加工得到的相似效应说明阅读和听力共享词后句子加工的核心环节。 但这种相似并非意味着加工的时间进程一致。关键差异在于阅读和语音处理之间在时间进程上获得的词的有效应信息是有差别的。阅读时，词汇基本上即时可用；听感时，词汇信息从左往右依次出现。因而就本实验中关键词识别点而言，听觉N400和听觉P600/SPS实际出现的相对较早。 这项研究也表明，P600/SPS可能实际上反映了解析过程的两个方面。尤其在实验1中，早期（500-750ms）前、后脑地形分布类似，而750ms后的时间窗内，成分明显靠后且波形持续时间更长。

本文实验设计的可取之处： 在该项句法加工的听觉、视觉通道的对比研究中，作者根据阅读、说话的正常速度来呈现视觉、听觉语言刺激，与先前某些研究中延长句子中词与词之间的时间间隔相比，显得更贴近人脑对自然语言加工的状态。