语言速率、视觉语境预览时间和参与者指令的影响揭示了语言加工预测的强烈局限性



一、文献名称 ¶

Huettig, F., & Guerra, E. (2019). Effects of speech rate, preview time of visual context, and participant instructions reveal strong limits on prediction in language processing. Brain Research, 1706, 196–208. https://doi.org/10.1016/j.brainres.2018.11.013

论文原文

二、研究背景 ¶

​ “大脑本质上是预测机器” (Clark, 2013; cf. Friston, 2010)的说法在认知和神经科学领域影响力越来越大。有人认为,预测是人类信息处理的基本原则,并提供了“知觉、认知和行动的深度统一解释”(Clark, 2013)。在本研究中,我们通过关注语言加工中预测的普遍性来验证这一假设。的确,如果预测是人类心灵的大统一原则,那么它也一定是语言处理的统一原则。但是,存在三个问题:

​ 1、“预测”一词的定义,会根据不同研究领域或跨领域的研究人员的定义有所不同。根据这种观点,预测不一定是关于未来的,而是指对当前但尚未完全观察到的事件缺乏足够的数据。

​ 本文的“预测”采用心理语言学意义——对未来严格而直接的预测。将语言处理中的预测定义为对即将到来的输入的任何预先激活。人们可以预测未来的语言,各种实验方法(EEG/MEG/rTMS……)都能证明“预测”在语言处理中起着重要作用。

​ 2、尽管已经使用了几种方法来调查预测,但大多数关于预测语言理解的研究只依赖于两种实验方法,即,电生理学研究显示印刷文字和视觉世界眼动跟踪研究显示视觉物体。

​ 3、大多数语言处理中的预测实验都将效果解释为reflecting prediction,尽管这并不是对结果的唯一合理解释。然而,最近失败的复制也对这些研究提出了强有力的证据预测语言处理提出了质疑。本研究中,我们使用视觉世界眼球追踪技术来测试预测语言加工的普遍性。

​ 4、经常使用鼓励预测的实验设置(例如,慢的单词表达/讲话速度,图片预览时间,指令)。之前的研究表明,参与者在没有明确指示的情况下进行预测。然而,可以想象的是,不是每个人都一直从事预测,除非他们被明确告知要这样做。

三、实验过程 ¶

来自心理语言学MPI的26名视觉正常或矫正正常的荷兰语母语者参加了这项实验。

Fig-4

相应的句子是简单的荷兰语指令,如“Kijk naar de afgebeelde fiets”(看展示的自行车)。指令总是指向目标对象(例如,自行车)。一半的指令包含普通性别词(“de”),另一半包含中性性别词(“het”),这取决于目标词的性别(如“de -word”或“het -word”)。

视觉显示在句子开始前4000 ms,并贯穿整个句子。视觉语境预习时间设置为4秒,句子以慢速和正常的语速呈现,在不同实验之间进行伪随机交替。

参与者听荷兰语句子,比如(翻译成英语)“看着展示的自行车”,同时观看四个物体(一个目标,比如一辆自行车,以及三个不相关的干扰物),荷兰语的目标名词(如“自行车”)之前有明确的性别标志限定词,这让参与者能够预测目标物体,因为只有目标而不是无关的干扰物与限定词的性别一致。使用限定词作为预测线索的一个好处是,通过这样的实验操作,我们避免了预测效果可能仅仅反映语义启动的可能性。

Fig-1

​ 图1显示了在两种语音速率条件下,注视与目标物体的平均比例、干扰物的平均比例以及它们对应的50 ms时间步长的95%置信区间。两个图的时间锁定到关键名词的开始(时间0处的垂直黑色虚线)。垂直的彩色虚线标出了口语句子中限定词的平均开头(而不是确切开头)。实线表示注视与目标物体的比例,虚线表示注视与平均干扰物的比例。图中的灰色阴影区域表示(调整后的)95%置信区间的上下限。从图1可以看出,在两种实验条件下,在目标名词发声出现之前,目标对象就已经被预期好了。在慢速语速和正常语速实验中,预期眼动在临界限定词开始后迅速出现(分别在口语目标名词开始前1993 ms和732 ms)。这些结果表明,无论是慢速语速还是正常语速语速条件下,被试都能在听到限定词后立即预测目标物体。

来自心理语言学MPI的另外27名荷兰语母语者参加了实验2。他们所有人的视力都正常或恢复正常。实验2的材料、设计和数据分析与实验1相同。步骤也与实验1相同,只是在句子开始前1000毫秒内进行了预览。

Fig-2

实验结果与实验1相同。在实验2中,我们将预习时间缩短到1秒,图2显示,在慢速言语条件下,目标对象在关键名词声效出现之前就已被预期(图b)。这个效应出现在关键名词出现前一秒(在句子中限定词出现后1000毫秒),在关键名词出现前400毫秒变得明显显著。相比之下,从图2A可以看出,在正常的言语条件下,这种预期的凝视行为是不存在的。换句话说,只有当目标名词被听到时,参与者才会优先看目标物体。眼动记录显示,在这种较短的预览中,参与者只能在慢速的情况下预测目标物体,而不能在正常的语言条件下预测。尽管与实验1的差异是惊人的,但可以想象的是,如果被试被鼓励在正常的言语条件下也能预测目标。在实验二中,被试并没有被明确要求进行预测。

26名新被试参加了实验三。他们的母语都是荷兰语,来自MPI的心理语言学参与者池。他们所有人的视力都正常或恢复正常。实验3的材料、设计和数据分析与前两个实验相同。与实验2一样,预览时间设置为1000毫秒。然而,这些指令与前两个实验中给出的指令不同。在实验3中,被试被明确地要求预测即将被提及的物体。所有其他方面的程序保持与实验2相同。

结果以与以前实验相同的方式呈现。通常认为200毫秒是编程和启动眼动所必需的,在单词出现后约200ms,对目标注视的偏差最可能反映了对目标的预测。

Fig-3

图3A显示,在正常的言语实验中,参与者可能已经预期(anticipate)到了目标,然而,只是在关键名词开始出现时(大约在名词完全成熟并被听者理解之前200毫秒)。相比之下,图3B显示,在预览previews的两个实验中,慢速语言条件允许对进入的目标有很大的预期效果。总之,实验3的关键发现是,即使被试被明确指示预测目标对象,在正常语速和短预习的情况下,我们最多观察到非常小的预期效应。

四、讨论 ¶

在三个眼动跟踪实验中,我们考察了语音速率、视觉刺激的预览时间和被试在在线加工(低完形填空概率)口语句子时对预期眼动行为的影响。

实验1中,被试在句子开始前进行四秒钟的视觉预览。结果表明,在两种语速条件下,参与者只要听到限定词就能预测目标物体。实验二和实验一是一样的,不同的是,被试在说出句子之前先看一秒钟的视觉展示。另一组被试在慢速语音条件下预测目标物体,而在正常语音条件下则不预测。实验三与实验二相同,只是被试被明确告知要预测目标对象。在慢速言语条件下,被试再次预测了即将到来的目标,但在正常言语条件下,明确的指令只导致了很小的预测效果。

目前的结果表明,语言使用者是否进行预测取决于理解者所处的情境。在所有三个实验中,慢语速导致了预测。然而,如果参与者对视觉参照物有广泛的预览,正常的言语率只能提供清晰和实质性的预测(使用性别标记)。当使用正常语速和短预览时,即使是预测目标对象的明确指令也只产生很小的预期效应。当参照物在视觉上很长一段时间不存在时,人们不会预期到类似程度的合适参照物。类似的问题是,说话率在很大程度上影响了参与者的预测倾向。缓慢的语速(可以说是许多视觉世界实验的特征,但很少明确承认)导致了所有实验中的预测,但“正常的语言预测”似乎依赖于视觉环境和/或明确的任务指示的支持。当然,在现实世界中,慢速说话是相对少见的。

当前的任务情境是预测语言处理的一个非典型例子。对自己(和类似)结果的解释的理由可能是,预测总是会发生,但有时(甚至经常)我们无法测量它(即实验方法不够灵敏,无法捕捉预测)。我们承认这是一种理论上的可能性,但同时认为这种观点是无用的,因为它是不可证伪的。还需要进一步研究预测语言处理的方式、原因、内容和时间。