语言理解过程中的预测:好处、代价和ERP



论文信息 ¶

Van Petten, C., & Luka, B. J. (2012). Prediction during language comprehension: benefits, costs, and ERP components. Int J Psychophysiol, 83(2), 176-190. doi:10.1016/j.ijpsycho.2011.09.015

论文原文 ¶

关键词 ¶

预测;句子;ERP;N400;P300;P600

摘要 ¶

由于语境对后续单词的加工有着很强的影响,“读者和听者预测即将到达的单词的想法”引起了研究注意。对一个词的预测应该既包括被证实的预测的好处,也包括没被证实的预测的代价,ERP的N400成分可靠地索引了语义语境的益处,但N400对失败预测的代价在文献中基本找不到,这增加了理解者可能并没有进行“预测”的可能性。 然而,预测的好处和代价不一定要在同一个ERP成分里体现,语言加工外的研究表明,ERP的晚期正性成分对不确定的预测很敏感。作者审查了可能从上下文或多或少可预测的单词引起的较晚的正性成分,调查表明,对意外的单词引发的较晚的正性成分相当常见,但这些正性反应由两个有着不同头皮地形图的成分组成,一个与语义不一致的单词有关,一个与一致的单词有关。 作者讨论了这些不同的较晚的正性成分可能的认关联,以及它们与一些ERP之间的关系,也就是与P300、P600关系,以及再认记忆研究中的新旧效应。

1. 五十年内不同的观点 ¶

“预测”的各种含义都保留了一个核心特征:预测可能是正确的,也可能是错误的,正确的预测可能产生收益,而错误的预测可能产生代价,在一些实验室范式中,这些收益和代价在表现上都很明显,例如有提示时反应时更快,但提示无效时可能导致更慢的反应。 对于语言理解,有一种观点:读者自发地预测即将到来的单词(而不是简单地在单词到达时进行处理),这种观点有的支持有的反对。作者在这里从最早关于“预测”的实验开始,介绍了50年内关于“预测”的一些研究及其观点。一些对"预测"观点的批判认为:不值得追求这种不频繁的回报,因为:1. 预测的过程消耗了一些可以更有效利用的资源 2. 失败的预测比根本没有预测更糟糕,它阻碍了对意外项目的处理。 随后先介绍了一些行为学上的研究,主要通过反应时来反映被试的预测,早期的反应时研究发现,对不可预测的单词显然没有处理成本(反应时和baseline水平差不多),因此“句子理解包含预测机制”这一想法在80年代基本上就被摒弃了,而支持语义语境的收益的证据被归因于从句子语境到词汇的自动传播激活,或者是当语境的语义属性和目标词的语义属性相匹配时,整合更容易。即使更宽泛的整合理论中也不涉及“预测”的作用,因为候选词被认为只从知觉信息中产生,允许语境加速或改进从候选集合中选择与听觉输入一致的词,但不允许预测新词。而随后由于眼动技术的出现,一些阅读研究者的观点发生了大转变,一些认为延迟整合的研究者现在提出了“a language processing system in which semantic interpretation, as well as syntactic processing, is conducted incrementally, with early integration of contextual information”的观点。

2. N400 ¶

2.1 语义语境 作者在这一部分介绍了N400的最初研究,以及视觉材料和听觉材料引起的N400。一些听觉材料引起的负波研究表明,在利用语义语境方面没有任何的延迟。同时还有一些早期研究表明,语义语境对降低N400波幅的好处是分级的,而没有明确的界限,研究者发现N400的幅度和完型填空概率成反比。(完型填空概率到底代表了什么?有的研究者认为如果一个句子,ABCD四个词分别是50%、35%、10%、5%的完型填空概率,那么ERP实验中的受试者将产生一个概率预期,即该句子以A结束的可能性为50%,以B结束的可能性为35%,以此类推。但这显然很奇怪,可以说如果有100个句子,一个被试可能其中50个句子选A,35选B这样子,但大概不能按上面的说法来。) 同时,早期的N400研究也表明了语义语境的应用是逐级的,而不是在句子的末尾等着一个“打包”的加工。除了congruent和discongruent words之外,单词的位置也会引起N400,当congruent word在句子的早期出现也会引起相当大的N400,例如“the…”“because they…”而随着句子上下文(特别是语义)的增加,N400逐渐变小。总之,这些研究和整合、预测这两种观点的任何一种都是一致的:先前的语境刺激从语义记忆中检索知识,并且该信息与知觉输入迅速地整合到一起,或者单词被主动预测,此时降低的N400就反应了预测成功的好处。

2.2 N400的快速整合观点和预测观点: 快速整合观点:related anomaly experiment 一些发现认为,读者会迅速将他们读到或听到的单词与之前的上下文进行比较,但不会提前预测特定的单词。语义有关的异常项比语义无关的异常项引发的N400更小,这些结果证明了单词的特征语义表征,句子的上下文促进了对包含至少一些特征的单词的处理,这些特征可以与前面句子片段的标准相匹配,相关异常项的研究表明,语境导致了对即将到来的词的意义的预期,并表明实际呈现的词的意义与这些期望迅速进行了比较,这些结果更符合N400句子语境效应反映了快速整合的观点,而不是预测的确认/不确认。 同时作者在这里澄清了prediction和expectation,prediction指对某一个特定单词的预测,而expectation表示读者/听者预期一些语义内容,并且可能没有将预期缩小到特定的单词。理解者经常对即将到来的内容形成假设,这一点几乎没有争论,争论的焦点是这些预期是否以具体的词汇预测的形式存在。 “prediction观点:” 虽然上述研究表明,句子和语篇语境是用来说明看似合理的词的意义,而不是它们的物理形式,但其他研究有力证明了语境可以用来预测特定的单词。主要就是通过pre-nominal effect,由于冠词a/an的意义都一样,它们的不同是由于后续单词的起始音素不同,所以它们的N400差异反映的就不是语义特征了,这就支持了prediction的观点。但任何预测都可能产生好处或者成本,取决于预测是否正确。上面所说的N400都被解释为反映的正确预测带来的好处(例如fly a kite中a产生的N400比 an airplane中的an产生的N400更小),那么是否有研究表明N400反映了错误预测带来的成本?

2.3 N400会被错误的预测放大吗? 研究N400与预测错误的成本的关系,大概可以从这个逻辑入手:对强烈预期的违反比对较弱预期的违反产生的N400更大。有的研究就把试验句子的约束条件和实际呈现的单词的完型填空概率之间的差异用作量化违反预期的程度,但大多数结果却显示,N400幅度与完型填空概率密切相关,但是与约束和完型填空之间的差异无关,因此也许就说明了N400对于错误预测的成本并不敏感,但作者在这里进行了讨论,认为约束和完型填空概率之间的差异不能够作为量化违反预期的程度的指标。还有部分研究,在完型填空概率过程中收集了反应时,被试在高限制句子中更快地完成完型填空任务,所以人们可能只会在高度限制地条件下能够快速地做出预测,否则就会采取放任自流的观望策略,因此,约束可能影响的不是预测的强度,而是预测的可能性,从这种思维来看,目前的研究也显示错误预测对N400没有影响。 相较于较晚出现的词,较早出现的词引出了较大的N400,因此,初始位置的词可以作为一个baseline,因为它没有从上下文中获得潜在的好处或者成本,那么这一N400和违反预期引发的N400是否不同?遗憾的是没有相关研究。同时部分研究者还进行了感知觉context研究,例如,目标词是dollar,错误1是dolphin(开始的音素相同的预期外单词),错误2是captain(开始的音素就不相同的预期外单词),最后发现错误1的N400有延迟,这也仅仅只是因为起始音素相同导致发现不一致的时候延迟了,数据显示违反语义语境和知觉语境引起的N400(即captain)永远不会大于单独违反语义语境引起的N400(即这里的dolphins)。 错误预测带来的成本在N400中一直没能验证,还有种可能性就是,读者和听众确实做出了预测,同时考虑了成本和收益,但这些预测是由不同的ERP组件索引的,比如最近的论文显示,对即将到来的单词的错误预测会导致后期的正性成分增强,而不是N400,并且似乎有两个不同的正性成分,通过它们的顶叶和额叶地形图来区分。

3. 较晚出现的正性ERP成分 ¶

3.1 P300 研究者通过大量研究确认P300为对所有形式的不可预测刺激的可靠反应,它的两个子成分的幅度强烈地受到刺激与被试分配的任务的相关性的驱动,其诱发形式有很多种,见原文,P300对预期(expectation)的不一致联系很强,对P300对简要的概括就是:工作记忆的更新,这种更新的频繁的触发器就是——对即将到来事件的预期不一致。 3.2 P600 与语义不匹配引起的N400不同,在句法上错误,或者不受欢迎的词可靠地引发了一个较大的较晚出现的正性波,即P600,这种反应通常缺乏明显的峰值,但在目标词开始后的500-900ms内明显,通常中央顶叶头皮部位最大(词对中的一致性错误不会引发N600)。在句子中,P600不需要直接违反句法,例如正确但句法复杂的句子比简单的句子产生更大的P600。 但最近的一些研究显示,语义不一致也导致了后期的正性,而不是N400,这一正性与P600十分相似,这些语义P600也类似地被归因于对句子的重新分析、重新注意或延长分析,同时在一些记忆项目的研究也显示出了这种正性电压(太多太杂的研究都能显示出,那还是感觉不如N400特别?仅对语义异常有反应?),此时的正性电压反映了成功的信息提取。 3.3 失败的语义预测:额叶正性? 语义的P600可能是由整合困难或/和主动预测的错误引起的,但迄今为止的研究没有旨在将这两种因素分离,只有少数研究试图区分整合困难和对特定单词的错误预测。例如前面提到的a、an引起的N400,a/an应该是永远不会难以整合的单词,其引起的N400取决于它们是否表示即将到来的名词将与句子上下文很好或不好地匹配,同时西语、荷兰语中一些名词前的冠词、形容词的性的研究也是类似的,结果都显示性别不匹配引发的ERP与性别匹配的词引发的ERP不同,由于这些冠词、形容词本身在语义上没有问题,这些结果表明被试预期的是特定性别的特定名词。 在这些西语和荷兰语的研究中,对不恰当冠词或形容词的反应不是增强的N400,而是更大的正性的电位(没有N400吗???),但这些正性的反应显示出了独特的额叶分布,这与典型的N600不同(典型的在顶叶)。一些作者认为,正电位反应了句子或语篇语境中基于语义的预测的不一致性,如果这个想法正确,那么预测实际上是语言理解中的一种常见策略,那么这样的结果应该很常见,接下来作者着手研究现有的文献。

3.4 句子加工过程中的语义期待:伴随N400的顶叶和额叶正性 一些研究中。N400之后没有正性波,而是波形汇聚,但在过去30年的研究中,有相当数量的ERP反应也有这样一种模式:在更大的N400随后是更大的较晚的正性波。这两种情况已经被观察很多年了,但这种变异性的来源直到最近才引起人们的零星关注,在这里用理论上中性的术语表示N400之后立即出现的明显的任何增强的正性——PNP(post-N400 positivity)。 有的PNP显示出了额叶头皮分布,而有的PNP显示出了顶叶的头皮分布,研究者首先总结了文献,看看这些PNP出现的有多频繁。通过一系列的限制,研究者选择出了一些文献,作者目前的兴趣是看,N400后是否伴随着较大的较晚的正性波形(600-900ms)。 许多研究产生了多个对比,例如句子末尾的单词出现在左边/右边、不匹配的单词与匹配单词在语义上相关/不相关等。在已发表的比较中,大约三分之一的人在不一致的词显示出了更大的较晚的正性,而三分之二的人没有,所以这种差异的来源依旧不明朗。但研究得出了一个比较明确的结论:当不一致的单词引起了PNP时,这种效应的头皮地形图主要是顶叶,而其他的一些研究,例如更换一些语序的研究也能产生顶叶的PNP,这表明,顶叶较晚的正性可能并不是精心建造的材料所独有的,而是在多年来被各种实验室使用的广泛的语义不一致材料中也很明显。 接下来研究者进行了进一步的比较:主要比较的是高完型填空概率结尾(被试更倾向选择的)和低完型填空结尾,(上面的不是比较的这两个,上面比较的是语义一致的和语义不一致的),在这种情况下,PNP出现得更普遍,但由于这种研究相对较少,可能这种差异并不可靠。但得出了一个更明确的结论是,高低完型填空概率引起的PNP主要在额叶(上面的主要是在顶叶),因此这似乎和上面观察到的PNP不是一类。

3.5 额叶PNP的功能相关 上述的两种情况下产生的不同部位的PNP,表明它们来自大脑的不同区域,应该归因于不同的功能过程。顶叶的PNP效应在前面可能被归因于重新分析或者检查,但关于额叶PNP却知之甚少。特别是,还不清楚N400之后的这个额叶正性是否应该被视为与上面3.3中的额叶正性一样的成分,这一成分与不确定的词汇预测有更明显的联系。研究者最近发现,额叶PNP效应可以归因为意想不到的词汇项的呈现,而不是意想不到的概念的呈现(语义相关的低完型单词引起的N400比语义无关的更低,但这两种情况引起的额叶PNP却无法区分大小,所以得出上述结论),这些结果表明额叶的PNP反应了错误预测,这个预测是词汇相关的,而不是与词汇的一些一般概念相关的。 但早期时候,kutas(1993)认为,这种额叶的PNP可能反应的是对未呈现的预测单词的抑制:左侧前额叶皮质通过抑制句子上下文启动的对结尾的激活表征来支持低完型填空概率的结尾的语境整合。在左侧前额叶皮质参与这一抑制过程的指标是额叶对低完型填空概率末尾词的正性反应(即前面提到的额叶正性),而对于真正异常的末尾词则没有类似的机制,因为这类异常词无法被解释。 总的来说就是这种争论分为两支:1.额叶较晚的正性是在解释看似合理的呈现词时诱发的,这些呈现词在出现之前是不可预测的(就比如北京交通拥堵那个句子中的“车钥匙”?)2. kutas提出的:前额叶PNP反应的是对预测了但没有呈现的词的抑制,这种观点更强有力但有待检验。这种主张主要依赖于一种行为测量,例如,有人认为对语义类别的一些成员的提取练习会导致对没有进行提取联系的同一类别成员的抑制。

4. 总结 ¶

ERP和行为学的数据都有力地支持这样一种观点:读者和听者连续、递增地解释输入的材料,这种解释导致了对稍后出现的语义内容的一般预期。而当随后的输入材料被解释时,它可能与前面出现过的东西融合起来更容易或者更困难。 作者将“prediction”这一术语始终定义为对某个特定节点处对“特定的词”的预测。一些研究者对这种性质的prediction在语言理解过程中是否十分频繁表示怀疑,因为有一种直觉认为,这种预测往往都是错误的,而从错误的猜测中恢复过来需要认知成本(所以真的很频繁吗?这明明会更消耗成本),作者调查ERP语言处理相关的文献,以寻找正确/错误预测带来的好处/代价,这有助于阐明读者/听者何时、如何、以及多频繁地做出这种特定的prediction。 对句子加工敏感的ERP成分包括:N400、P600、额叶正性的波,以及在N400之后有时观察到的额叶正性波和顶叶正性波。N400似乎是最普遍的,因为它可以由句子中的每个单词引起,虽然幅度差距很大。到目前为止的研究表明,N400波幅反映了语义兼容语境的好处,但误导性或不匹配的语境更像是没有语境,因此没有证据能够表明N400反映了由于糟糕的预测而产生的处理成本。 大多数N400结果都认为读者和听者迅速地将词义和上下文整合起来,而不一定对即将到来地单词形成具体的预测,但也有少数结果表明,广泛的语义预期有时可能会结合为更具体地词汇预测。 在句子处理的过程中,较晚的正性成分似乎很少被引出,更容易被归因于解释时不顺利产生的认知成本。由句法错误和某些类型的语义错误引起的后部P600被认为是再加工成本的反映——即审查先前的语境以确定哪里出了问题,以及问题是否可以修复。这种再处理不表明被试事先预测了任何特定的单词,只是他们在尝试整合的过程中检查到了问题引起的。 作者认为,头皮前部分布的较晚的正性成分更可能是从先前上下文得出的失败预测的标志,但由于文献太少,还不能确定。

思考 ¶

按照这篇文章,那之前关于N400的理解就有点颠倒了,同时这些late positive wave看来也需要研究中同样地引发出来并报道?特别是额叶处的PNP(貌似之前那个汉语文献就引发出了类似的PNP,但没有多做分析)