预测包括两个阶段:来自视觉世界眼球追踪的证据



一、文献名称 ¶

Corps, R., E. Brooke, C., & Pickering, M., J. (2021). Prediction involves two stages: Evidence from visual-world eye-tracking. Journal of Memory and Language, 122, 104298. https://doi.org/10.1016/j.jml.2021.104298

二、研究背景 ¶

理解者经常预测他们将会遇到什么。例如,在听到说话者说这个男孩会吃…,他们马上倾向于看可吃的物体,这表明他们预测说话者将要提到这样的物体。但是他们到底预测什么?根据哪些信息作出了预测?这些预测需要时间和资源吗?这都是在研究过程中急需解决的问题。

一阶段和两阶段的预测:

初始预测到底和最终预测是否一致,这个假设影响着预测是一阶段还是两阶段。因此,在实验中,我们询问(1)理解者最终是否以自我中心、关联性或一致性预测,以及(2)他们最初是否以关联性、自我中心性或一致性预测。

预测的单阶段和两阶段之间的对比反映了语言理解的互动式和模块式描述之间的区别。历史上,人们主要关注句法分析——理解者最初是如何在句法歧义句子的分析中进行选择的。 一阶段假设人们可以立即利用所有潜在的信息,比如背景知识;双阶段假设处事决策基于某些信息源(比如语法的某些方面),而非其他信息(如真实世界的知识)。所以,parsing的初始和最终方面是有区别的。大量的实验也在试图区分这些说法。

单阶段的证据:认为理解者以及他们的同伴在加工的早期就整合观点,并且起初就预测一致。

双阶段的证据:理解者可能是以自我角度或者以联想(基于单词联想)为基础进行预测。但以自我为中心的预测可能是低效的——尤其是效率低于一致性预测。如果理解者最初以自我为中心进行预测,那么他们会预测如果他们自己发出话语,他们会说什么,而不是说话者会说什么。在某些情况下,理解者的视角将不同于说话者,以自我为中心的预测将导致理解错误,并需要重新解释。理解者最初可能不会将视角整合到预测中的一个原因是,这样做需要时间和资源。在本实验中,我们通过构建性别认同差异来测试这三种可能性。特别是,男性和女性参与者会聆听男性和女性演讲者就刻板的男性和女性对象造句。

实验设计:三个实验,记录被试在听到含有预测动词(如wear)的句子时的眼动。动词与四个描述对象中的两个相关,即,指向目标物体(如领带和裙子),但不指向干扰物(如钻头和吹风机)。 根据一个单一阶段的描述,如果最初的预测是不封闭的,参与者应该从预测的最早时刻就进行一致的预测。但在一个两阶段的描述中,如果最初的预测是封闭(encapsulated)的,那么这些最初的预测就不应该是一致的:它们应该是关联的或以自我为中心的,然后理解者应该从做出关联的或以自我为中心的预测转向做出一致的预测。

三、实验设计 ¶

招募24 名英语为母语的人,12名男性,12名女性。实验结束后,被试填写一份问卷,问卷调查的是他们自认为的性别。

我们创造了56对句子(由女性和男性说话者产生),每个句子都有四个物体的显示(完整的刺激列表见附录)。句子中包含可预测的动词(例如wear),因此四个描述的对象中有两个是动词的关联对象(具体来说,是可信的患者)(即目标;例如领带和裙子),而其他两个则不是(例如干扰物;例如钻头和吹风机)。句子以I开头,动词后接The和形容词,句子以宾语结尾,宾语与动词相关,并且与说话者的性别一致。

女性说话者: I would like to wear the nice dress

男性说话者: I would like to wear the nice tie

在线的预测试中,被试会阅读最后一个单词空出来的句子,并且附有四张彩色照片,被试被问及“以下四个对象中哪个不指向接下来出现的东西”

其中28个句子是按性别划分的,意思是四张图片中有两张是女性化的(例如,女性目标:裙子;女性干扰:吹风机),另两张为男性化的。使用第二次在线预测试来评估这些图片的刻板印象,80名被试随机分配四个刺激列表中的一个,每个列表包含120张彩色剪贴画。被试需要(1)说出每张照片的名字,物体,行动或图中描绘的工作(2)对图片中描绘的对象、活动或工作的男性气质或女性气质进行1-100分的评分。其他28张不分性别。

对于性别化的句子,说话者总是指向预测试中被试确定的与他们的性别一致的目标(即,男性说话者指的是领带,女性说话者指的是裙子),因此,参与者根据说话者的性别做出的任何预测都是准确的。对于性别中立的句子,说话者以两个说话者一致的方式任意引用这两张图片中的一张(例如,如果男说话者提到苹果,女说话者也提到苹果)。

在开始实验之前,参与者已经熟悉了这两位演讲者(见图1)。他们被告知一名发言者是女性,而另一名发言者是男性。参与者听每个演讲者自我介绍一次(顺序在参与者之间平衡)。在让参与者熟悉每个演讲者之后,我们通过让他们从声音中识别演讲者的图片,确保他们能够轻松识别演讲者。

在主要实验中,每次试验都以一个漂移校正开始,然后在屏幕中央显示一张扬声器图片,持续1000毫秒。然后在一个空白屏幕上显示500毫秒,四张图片分别显示在屏幕的四个角。1000毫秒后开始播放句子,句子结束后,画面在屏幕上保持750毫秒。然后,被试回答了一个理解问题,该问题询问说话者是否提到某个特定的物体(例如,说话者是否说吹风机?左=否,右=是)。一半的时间里,理解问题提到了说话者提到的一个对象;在另一半的时间里,这个问题涉及到另外三个未提及的对象中的一个。参与者按下响应框上的左键回答是,右键回答否,然后立即开始下一次试验(无反馈)。参与者完成了四次实践试验,并在28次试验后有机会休息。

我们分析了性别试验,以确定:(1)参与者是否会联想预测(例如,在听到动词wear后看可穿戴物品);(2) 他们是否始终如一地(或以自我为中心)预测,将与说话者性别一致的目标固定在与自己性别一致的目标固定不变的基础上(反之亦然);(3)关联预测是否发生在一致性预测之前(符合两阶段假设),或没有发生在一致性预测之前(符合一阶段假设)。

在第一个分析中,比较了与主体相容的目标的注视比例,以及与主体相容的干扰物的注视比例,以确定参与者是否有关联预测。

Fig-2

图2表明,在动词开始之前,参与者不偏爱任何宾语,binning分析在动词开始之前没有显示任何显著影响 ,因此我们从动词开始(0 ms)到动词开始后1500 ms进行了分歧点自举分析。分析显示,参与者更关注与agent兼容的目标,而不是与agent不兼容的目标,因此表明他们的预测是一致的。但这项分析是基于所有的性别试验。如果参与者只是以自我为中心(从他们自己的角度)进行预测,那么在我们的分析中,预计与agent相容和与agent不相容的目标在注视上没有差异,因为以自我为中心的预测在一半的时间里是正确的(性别匹配试验),但另一半时间(性别不匹配试验)是不正确的。 我们没有观察到这种效应模式,从图2可以清楚地看出,无论哪个阶段参与者对与agent不相容的目标的注视程度超过了与agent相容的目标的注视程度。

自举分析显示,在动词开始后519毫秒,参与者对与agent相容的目标的注视程度高于与agent相容的干扰物(CI[500650];图2A中红色与绿色的对比)。在性别中立的试验中观察到了类似的模式:在523毫秒的时间里,参与者对两个目标的注视多于对两个干扰物的注视(CI[500650];图3)。

图2A表示一致性预测往往晚于关联预测。我们通过从一致性效应的开始中减去联想效应的开始,显著地检验了这种差异。该分析表明,关联效应和一致效应之间的发散点平均差异为122 ms(CI[0,350]),表明一致效应发生的时间晚于关联效应。