用视觉世界范式研究语言加工:回顾与批判评价综述(一)

一、文献名称 ¶

Falk H., Joost R., & Antje S. M. (2011). Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologuca , 137(2), 151–171.https://doi.org/10.1016/j.actpsy.2010.11.003

二、研究背景 ¶

1974年，Cooper的实验中，要求被试在观看物品时听简短描述，有些在口语文本中被提及，被试被告知要记录他们的瞳孔大小，而且他们可以看向任何地方。Cooper发现，尽管有这些指示，听众的目光还是会被提到的或与文本有某种联系的物体所吸引。例如，当听到“我的粗心大意的狗Scotty”时，听众更倾向于看一张狗的图片，而当听到“在摄影旅行中……”时，他们的目光更倾向于看一张相机的图片。Cooper还发现，听者的眼睛运动与文本紧密地和时间锁定，触发了超过90%的对关键物体的注视，要么是在说相应的单词时，要么是在单词偏移后200毫秒内。Cooper认为他发现了一种“实用的新研究工具，可以实时调查知觉和认知过程，特别是对语音感知、记忆和语言处理的详细研究”。

但是此后的20多年里，他的研究很大程度上被忽视了，直到直到Tanenhaus, Spivey-Knowlton, Eberhard，和Sedivy(1995)发表了一篇科学论文，使用了类似的方法(参见Eberhard, Spivey-Knowlton, Sedivy， & Tanenhaus, 1995)，心理语言学家才开始在更大的范围内探索眼动和语言处理之间的系统关系。而这种范式就是我们所熟知的VWP。

自80年代早期，Fodor(1983)提出了思维模块化的概念以来，心理语言学的一个主要关注点一直是确定语言和非语言过程如何共同决定听者或读者对句子的理解。Tanenhaus和他的合作者是第一个表明视觉世界范式是研究这个问题的强大工具的人。在第一次理解研究之后不久，眼球追踪也开始用于研究语言产生(Griffin & Bock, 2000;Meyer，Sleiderink， & Levelt, 1998)。虽然生产研究往往没被贴上“视觉世界研究”的标签，但它们与使用视觉世界范式的理解研究有明显的相似之处，因此我们将回顾理解研究和生产研究。

理解视觉世界实验的基本设置很简单:在每次实验中，参与者在看着实验展示时听到一个声音。记录被试的眼动数据以供日后分析。目前版本基本上是显示在电脑上的线条图以及描述或评论这些场景的句子组成。

在一些研究中，首先展示图片，然后是一个口语句子，同时显示一个空白屏幕。这一设置有助于研究短期视觉记忆对语言介导的眼注视的影响。空白屏幕研究表明，人们倾向于重新注视空白屏幕上之前被相关物体占据的区域，这表明语言中介的眼球运动并不取决于在该表情中出现的视觉物体（see Altmann, 2004; Altmann & Kamide, 2007; Ferreira, Apel, &Henderson, 2008; Knoeferle & Crocker, 2007; Richardson, Altmann, Spivey, & Hoover, 2009; Richardson& Spivey, 2000; Spivey & Geng, 2001).

最近已经开发出该范式的印刷文字版本（Huettig & McQueen, 2007; McQueen & Viebahn, 2007; see Fig. 1iii)。不同之处是由图片变为了文字，该版本的优势是：视觉刺激不代表任何具体的物体，但是可以是任意文字。Salverda和Tanenhaus(2010)发现印刷词变体是研究语音感知过程中正字法加工的有用工具。相比之下，研究语义和(概念性)视觉形式表征的处理似乎不如标准版本(Huettig & McQueen, 2008)那么敏感。

研究通常感兴趣的是，在语音流中出现一个关键字的过程之中或之后会发生什么。因为这个词通常出现在一个载体句中，所以在这个词出现之前，你需要花几秒钟去熟悉它。通常，视觉显示的呈现是在说话开始之前(例如1秒)或同时开始的，并一直保持在视野中，直到说话结束。预习的数量很重要。Huettig和McQueen(2007)表明，注视特定物体的可能性取决于被试检索物体相关表征的时间。

口头话语可以是对被试的指示(“直接行动”任务，如“捡起糖果”，Allopenna等人，1998)，也可以是对展示的描述或评论(“看和听”任务，如altman & Kamide, 1999;Huettig & Altmann, 2005)，后一个任务是要求被试看屏幕并仔细听句子，这类任务可以让研究人员评估特定（如竞争）效应是否是语言-视觉互动的普遍特征，或者它们是否仅限于特定的任务需求。