预测包括两个阶段:来自视觉世界眼球追踪的证据

一、文献名称 ¶

Corps, R., E. Brooke, C., & Pickering, M., J. (2021). Prediction involves two stages: Evidence from visual-world eye-tracking. Journal of Memory and Language, 122, 104298. https://doi.org/10.1016/j.jml.2021.104298

论文原文

二、研究背景 ¶

理解者经常预测他们将会遇到什么。例如，在听到说话者说这个男孩会吃…，他们马上倾向于看可吃的物体，这表明他们预测说话者将要提到这样的物体。但是他们到底预测什么？根据哪些信息作出了预测？这些预测需要时间和资源吗？这都是在研究过程中急需解决的问题。

一阶段和两阶段的预测：

初始预测到底和最终预测是否一致，这个假设影响着预测是一阶段还是两阶段。因此，在实验中，会询问（1）理解者最终是否以自我中心、关联性或一致性预测，以及（2）他们最初是否以关联性、自我中心性或一致性预测。

预测的单阶段和两阶段之间的对比反映了语言理解的互动式和模块式描述之间的区别。历史上，人们主要关注句法分析——理解者最初是如何在句法歧义句子的分析中进行选择的。 一阶段假设人们可以立即利用所有潜在的信息，比如背景知识；双阶段假设初始决策基于某些信息源（比如语法的某些方面），而非其他信息（如真实世界的知识）。所以，parsing的初始和最终方面是有区别的。大量的实验也在试图区分这些说法。

单阶段的证据：认为理解者以及他们的同伴在加工的早期就整合观点，并且起初就预测一致。

双阶段的证据：理解者可能是以自我角度或者以联想（基于单词联想）为基础进行预测。但以自我为中心的预测可能是低效的——尤其是效率低于一致性预测。如果理解者最初以自我为中心进行预测，那么他们会预测如果他们自己发出话语，他们会说什么，而不是说话者会说什么。在某些情况下，理解者的视角将不同于说话者，以自我为中心的预测将导致理解错误，并需要重新解释。理解者最初可能不会将视角整合到预测中的一个原因是，这样做需要时间和资源。在本实验中，我们通过构建性别认同差异来测试这三种可能性。特别是，男性和女性被试会聆听男性和女性演讲者就刻板的男性和女性对象造句。

实验设计：三个实验，记录被试在听到含有预测动词（如wear）的句子时的眼动。动词与四个描述对象中的两个相关，即，指向目标物体（如领带和裙子），但不指向干扰物（如钻头和吹风机）。 根据一个单一阶段的描述，如果最初的预测是不封闭的，参与者应该从预测的最早时刻就进行一致的预测。但在一个两阶段的描述中，如果最初的预测是封闭（encapsulated)的，那么这些最初的预测就不应该是一致的：它们应该是关联的或以自我为中心的，然后理解者应该从做出关联的或以自我为中心的预测转向做出一致的预测。

Tab-1

三、实验设计 ¶

招募24 名英语为母语的人，12名男性，12名女性。实验结束后，被试填写一份问卷，问卷调查的是他们自认为的性别。

我们创造了56对句子（由女性和男性说话者产生），每个句子都有四个物体的显示（完整的刺激列表见附录）。句子中包含可预测的动词（例如wear），因此四个描述的对象中有两个是动词的关联对象（即目标；例如领带和裙子），而其他两个则不是（例如干扰物；例如钻头和吹风机）。句子以I开头，动词后接The和形容词，句子以宾语结尾，宾语与动词相关，并且与说话者的性别一致。

女性说话者： I would like to wear the nice dress

男性说话者： I would like to wear the nice tie

在线的预测试中，被试会阅读最后一个单词空出来的句子，并且附有四张彩色照片，被试被问及“以下四个对象中哪个不指向接下来出现的东西”

其中28个句子是按性别划分的，意思是四张图片中有两张是女性化的（例如，女性目标：裙子；女性干扰：吹风机），另两张为男性化的。使用第二次在线预测试来评估这些图片的刻板印象，80名被试随机分配四个刺激列表中的一个，每个列表包含120张彩色剪贴画。被试需要（1）说出每张照片的名字，物体，行动或图中描绘的工作（2）对图片中描绘的对象、活动或工作的男性气质或女性气质进行1-100分的评分。其他28张不分性别。

对于性别化的句子，说话者总是指向预测试中被试确定的与他们的性别一致的目标（即，男性说话者指的是领带，女性说话者指的是裙子），因此，被试根据说话者的性别做出的任何预测都是准确的。对于性别中立的句子，说话者以两个说话者一致的方式任意引用这两张图片中的一张（例如，如果男说话者提到苹果，女说话者也提到苹果）。

在开始实验之前，被试已经熟悉了这两位演讲者（见图1）。他们被告知一名发言者是女性，而另一名发言者是男性。参与者听每个演讲者自我介绍一次（顺序在参与者之间平衡）。在让参与者熟悉每个演讲者之后，我们通过让他们从声音中识别演讲者的图片，确保他们能够轻松识别演讲者。

Fig-1

在主要实验中，每次试验都以一个校正开始，然后在屏幕中央显示一张扬声器图片，持续1000毫秒。然后500毫秒后，屏幕显示四张图片。1000毫秒后开始播放句子，句子结束后，画面在屏幕上保持750毫秒。然后，被试回答了一个理解问题，该问题询问说话者是否提到某个特定的物体（例如，说话者是否说吹风机？左=否，右=是）。一半的试次里，理解问题提到了说话者提到的一个对象；在另一半的试次里，这个问题涉及到另外三个未提及的对象中的一个。被试按下响应框上的左键回答是，右键回答否，然后立即开始下一次试验（无反馈）。参与者完成了四次实践试验，并在28次试验后有机会休息。

我们分析了性别试验，以确定：（1）被试是否会联想预测（例如，在听到动词wear后看可穿戴物品）;（2） 他们是否始终如一地（或以自我为中心）预测，将与说话者性别一致的目标固定在与自己性别一致的目标固定不变的基础上（反之亦然）；（3）关联预测是否发生在一致性预测之前（符合两阶段假设），或没有发生在一致性预测之前（符合一阶段假设）。

在第一个分析中，比较了与主体相容的目标的注视比例，以及与主体相容的干扰物的注视比例，以确定参与者是否有关联预测。

Fig-2

图2表明，在动词开始之前，被试不偏向任何宾语，binning分析在动词开始之前没有显示任何显著影响 ,因此我们从动词开始（0 ms）到动词开始后1500 ms进行了分析。分析显示，被试更关注与agent相容的目标，而不是与agent不相容的目标，因此表明他们的预测是一致的。但这项分析是基于所有的性别试验。如果参与者只是以自我为中心（从他们自己的角度）进行预测，那么在我们的分析中，预计与agent相容和与agent不相容的目标在注视上没有差异，因为以自我为中心的预测在一半的时间里是正确的（性别匹配试验），但另一半时间（性别不匹配试验）是不正确的。 我们没有观察到这种效应模式，从图2可以清楚地看出，无论哪个阶段参与者对与agent不相容的目标的注视程度超过了与agent相容的目标的注视程度。

分析显示，在动词开始后519毫秒，参与者对与agent相容的目标的注视程度高于与agent相容的干扰物（图2A中红色与绿色的对比）。在性别中立的试验中观察到了类似的模式：在523毫秒的时间里，参与者对两个目标的注视多于对两个干扰物的注视（图3）。

Fig-3

图2A表示一致性预测往往晚于关联预测。我们通过从一致性效应的开始中减去联想效应的开始，显著地检验了这种差异。该分析表明，关联效应和一致效应之间的发散点平均差异为122 ms，表明一致效应发生的时间晚于关联效应。

在实验1中，调查了理解者从谁的视角预测，以及这个视角获取过程是否需要时间。研究发现，被试对与关键动词语义相关的图片进行联想预测，并迅速表现出注视的增加。关联性预测显示，在有性别（动词开始后519ms）和无性别（动词开始后523ms）的实验中，时间过程相似。还发现，被试在动词开始后641毫秒内的预测是一致的：他们更关注与说话者性别一致的agent相容目标，而不是与自己性别一致的agent不相容目标 。

总之，实验1表明理解者的预测是一致的。我们假设他们是从句子的主体的角度来考虑的。当句子里有"I"的时候，agent会与演讲者反应一致（correspond）,换句话说，他们确定说话者的性别，只看与之一致的刻板印象的图片，而不管它们是否是动词的合理指称。但为了更加确信参与者的注视不仅仅是由说话者的声音驱动的，研究进行了实验2，测试当一致的视角是他们自己的，而不是说话者时，理解者是否一致地预测。实验2因此将视角提取的效果与说话者性别的效果分开。

实验2与实验1相同，只是代词I被替换为You，说话者提到的目标与参与者的性别一致（见表1）。 假设被试将“You"理解为他自己，那么视角一致的就是理解者。研究希望他们更多地关注与自己性别（agent相容的目标）一致的目标，而不是与说话人性别（agent不相容的目标）一致的目标。例如，当女性被试听到男性演讲者说你想穿漂亮的衣服时，她应该多看一件衣服，而不是领带。

16名男性，16名女性

刺激与实验1相同，句子是“you”开头而不是“I”开头。每个句子有四个版本：

男性演讲者提及一个刻板的女性形象（“你”想穿漂亮的裙子）

男性演讲者提及一个刻板的男性形象（“你”想戴好看的领带）

女性演讲者提及一个刻板的女性形象

女性演讲者提及一个刻板的男性形象

数据分析如实验1，但研究将与agent相容的目标或干扰物定义为与被试性别一致的目标或干扰，不相容的则被定义为与被试性别不一致的。因此，在性别不匹配试验中，刻板印象与说话人性别一致，但在性别匹配试验中，刻板印象与说话人性别不一致。但由于实验2的视角仅仅是理解者本身，那么对实验二来讲，在性别不匹配试验中，被试应该更多地关注agent不相容的目标（即说话人相容的目标），而不是agent相容的目标（即说话人不相容的目标）。

Fig-4

图4显示了性别化句子（A组）在四张图片上的平均注视比例，然后将其分为性别不匹配（B组）和性别匹配（C组）实验中的agent相容目标和agent不相容目标的平均注视比例。 与实验1一样，实验2的bootstrapping分析表明，参与者使用动词快速地联想预测。在动词开始后329毫秒，参与者对与agent相容的目标物的注视多于对与agent相容的干扰物的注视。在性别中立的试验中观察到了类似的模式：从447ms开始，参与者对两个目标物的注视多于两个干扰物（见图5）。

Fig-5

被试在动词开始后的939毫秒内，预测一致，更倾向于注视agent-compatible目标而非a-in的目标（图4A），对性别不匹配实验的分析（图4B）证实，被试的预测没有不一致之处，从995ms开始，他们对a-c的目标的关注度超过了对a-inc的目标，因此，参与者并不是简单地听到说话者的声音，而是看与说话者性别一致的照片。他们总是从自己的角度进行预测。对性别匹配实验的分析基本上也有这些发现（图4C），从958ms开始，被试更关注a-c，而不是a-inc。

在实验2中，我们使用以“你”而不是“我”开头的句子（实验1）来研究理解者是否能够持续预测，即使这些持续的预测与他们自己的观点有关。与实验1一致，被试快速联想预测，在目标被提及之前观察与动词语义相关的目标。这些联想预测在性别化和性别中立句子中都显示出相似的时间过程。一致性效应发生的时间晚于关联效应，这表明预测最初是由关联驱动的，只有在随后才基于agent的视角。

在实验3中，我们使用了与实验1相同的刺激，除了代词I被替换为James或Kate。因此，这可以测试理解者是否采用第三人称的视角，并进一步将一致性预测与说话者和理解者性别的影响分开。如果听者预测一致，那么他们更多地关注与角色性别（a-c的目标）一致的目标，而不是与自己性别（a-inc的目标）一致的目标。例如，当被试听到演讲者说凯特想穿漂亮的衣服时，他们应该多看裙子的照片，而不是领带的照片…。

另32名母语为英语的人

实验3使用了与实验1相同的刺激，不同的是句子以James或Kate而不是I开头，以与动词相关的目标语结尾，并且在刻板印象中与人物的性别（而不是说话者的性别或参与者的性别；见表1）一致。

四种版本，三种条件：

（1）28性别化句子和28性别中性句子

（2）14个关于James的句子，由男性说话者产生，14个由女性说话者产生，

（3）14个关于Kate的句子，由男性说话者产生，14个由女性说话者产生，

Fig-6

分析显示，在动词开始后384ms，被试更关注a-c的目标物而不是a-c的干扰物。在性别中立试验中，537ms后，被试更关注a-c的目标物而非干扰物（图7）。这些结果表明，参与者预测联想。对性别不匹配和性别匹配试验的单独分析证实，参与者没有以自我为中心进行预测：在性别不匹配试验（图6B）和性别匹配试验（图6C）中，从583 ms起，他们更关注a-c的目标，而不是与a-inc（且以自我为中心）的目标。因此，参与者从角色的角度进行一致的预测，

Fig-7

总之，本实验使用视觉世界范式证明，理解者在预测语言时会考虑视角，但在预测的最早时刻不会这样做。特别是，研究发现被试通过观察动词的语义关联（例如wear）快速预测关联性，而不管它们是否与说话者可能说的话一致。被试从说话者的角度（实验1）、自己的角度（实验2）和第三个角色的角度（实验3）进行一致性预测的速度较慢；没有证据表明他们做出了前后矛盾的以自我为中心的预测。因此得出结论，在理解过程中，预测分为两个阶段。