语言对视觉感知的影响



1.参考文献 ¶

Lupyan, G., Abdel Rahman, R., Boroditsky, L., & Clark, A. (2020). Effects of language on visual perception. Trends in Cognitive Sciences, 24(11), 930-944. http://doi.org/10.1016/j.tics.2020.08.005

论文原文

2.研究背景 ¶

语言会改变我们的感知吗?说不同的语言会让我们对事物有不同的看法吗?本文回顾语言影响视觉感知的行为和脑电证据。语言对感知的影响既可以在更高层次的加工过程中观察到(识别),也包括低层次的加工过程(区别和检测)。

3.语言作为一种影响感知的经验形式 ¶

图1

哪些因素会影响我们对世界的看法?例如,是什么使识别图1A中的物体成为可能?或者在图1B中找到“目标”?图1C中鸟的头在哪里?为什么我们认为图1D中的某些颜色比其他颜色更相似?视觉感知研究主要关注刺激的物理特性及其相互作用来回答这些问题(Keane,2018)。然而,感知不仅取决于当前输入的物理特性,还取决于我们的感知经验。尽管对其中一些过程的“模块化”仍有争论,但有一个相对的共识,即我们的感知多由先前的经验塑造(Yuille&Kersten,2006)。但什么样的经验是重要的呢?

最无可争议的是,语言经验会影响对语言的感知。在学习英语的过程中,我们感知到某些语音在功能上是相似的,就会把他们归为一类。这种分类过程扭曲了我们的感知,导致我们根据语言经验将物理上等距的语音感知为相似性不同的语音(Kazanina et al., 2006)。这种影响不仅体现在语音层面,还表现在阅读文字等方面。

语言经验会影响对非语言材料的感知。本文会回顾语言如何影响感知不同方面的证据(主要是视觉)。首先描述语言对感知的影响:(1)离线影响:其中特定语言的长期经验会影响人们随后如何感知某些感知输入,(2)在线影响:例如即时视觉加工的物体名称。然后回顾了语言对感知、语言对(视觉)识别、区分和检测的不同影响的证据。讨论了语言经验的差异是否会导致感知经验的差异。

4.语言对视觉识别、区分和检测的影响 ¶

识别需要将当前的感知输入与之前的经验联系起来(我面前的这个东西是椅子,因为它看起来更像是我以前见过的椅子,而不是其他不是椅子的东西)。识别就是分类。人类在识别常规图像方面非常熟练,因此研究识别的有效方法是呈现不完整的图像。例如,只有大约25%的人可以识别图1A中Mooney图像中的物体。也就是说,大多数人的感知系统无法理解这个感知输入。但如果允许我们看一眼原来版本的图像,那么不仅可以最终识别成功,还会在视觉结构的各个层次上引起可测量的变化。

借助语言能否实现类似的识别提升?最近的一项研究发现识别可在很大程度上通过简单的口头提示来增强(Samaha et al.,2018)。例如,为人们提供诸如“乐器”之类的上位词提示,可将图1A的正确识别率提高到89%。一种可能性是,labels有助于形成可以测试视觉输入的假设。根据语言产生的假设进行加工,使得感知输入变得可理解。即使视觉场景与语言内容无关,语言能否改变我们对视觉场景的识别?在一项研究中(Dils & Boroditsky, 2010),被试在看到向上或向下运动的物体或阅读了有关物理运动的描述后(与鸟类完全无关),看到了一张类似于鸟的图像(图1C),然后被试被要求在鸟嘴中画一条虫子。人们对鸟头的识别同样受到观察真实运动和阅读故事的影响。

使用ERP区分感知过程与更高级别语义过程还是下游决策过程有关。一些ERP与低级视觉特征的加工有关,如亮度和对比度(P1,在100毫秒左右达到峰值)以及对物体和面孔的高级感知(N1,在 150毫秒左右达到峰值),跟踪非模态(或多模态)的语义加工(N400)。

识别与区分:可以在无法识别新字母的情况下区分字母表中的字母。可以使用区别任务来判断语言对感知的影响是否超出了识别范围。

许多关于语言如何影响区别的研究都是在颜色领域进行的。事实上,颜色名称可能影响颜色区分视为对沃尔夫假设的关键检验,尽管沃尔夫从未提出语言应该影响颜色感知。颜色成为主要研究领域的原因是物理刺激是连续的,但我们倾向于从分类的角度对其进行分析。学习颜色词需要将颜色分到不同语言命名的类别中,我们通常认为有相同名称的不同颜色比不同名称的心理等距颜色更相似。这反过来可能使我们以更分类的方式感知颜色。更有趣的是,一些语言有很多颜色词,而另一些语言则很少或没有(Box 1)。颜色词较多的语言可能不一定具有较大的颜色空间区域。相反,颜色词较少的语言可能具有大面积的颜色空间。

图2

语言已被证明以两种主要方式影响颜色感知,大致与图2中的离线和在线影响一致。首先,研究表明,说不同语言的人表现出不同的颜色区分模式。与英语使用者相比,在语言中强制区分浅蓝色和深蓝色的俄语使用者,在区分浅蓝色/深蓝色边界的颜色方面表现出相对优势 (Thierry et al., 2009)。其次,研究表明可以通过操纵语言因素来改变个体的颜色区分能力。让成年人学习新的颜色类别(类似于儿童学习产出和理解颜色)可以诱导更多类别的颜色感知(Thierry et al., 2010),这一发现与语言的离线和在线影响一致(图2A)。

同时,干扰分类标签可以减少或消除分类效应并消除跨语言差异。相反,在任务中公开使用颜色标签会增加感知的分类影响。例如,在要求被试将一种颜色与其他三种颜色区分开来之前,向被试展示一个颜色词(例如,“蓝色”)(odd-one-out任务)会显着提高他们区分蓝色和绿色的能力,同时略微降低区分典型蓝色和不太典型的蓝色的准确性(Forder & Lupyan, 2019)。另一个起作用是刺激顺序。被试看到绿色G1,然后经过短暂的delay,被试需要选择是看到G1还是G2。如果G1是更典型的绿色,则被试的准确性会比G2是典型的绿色要好得多(Brederoo et al., 2019)。一个解释是类别标签被更典型的颜色更强烈的激活,然后标签会进行反馈,以扭曲两种颜色刺激之间的表征距离,从而实现精确匹配。

语言参与颜色感知的一些间接证据来自颜色辨别任务,人们的右侧视野(投射到左半球)比左侧视野中表现出更大的类别间优势,语言干扰有选择地影响右侧视野中的类别间分类(Gilbert et al., 2009)。在使用EEG的相关研究中,已经发现颜色辨别任务会引起与命名相关的皮质下区域(左颞上中回)的激活,在右侧视野中看到的颜色的激活更强,并且与区分难以命名的颜色相比,易于命名的颜色在“命名”区域中也引起了更大的激活。但也有另一种可能性是,偏侧化效应可能源于左半球更专门用于分类加工。偏侧化效应也并不总是可重复的,这也被用来反对显示标签对颜色记忆影响的研究。

语言对视觉辨别力的影响不仅限于颜色。通过名称指代对象,例如将图 1B 中的形状称为“旋转数字”,会导致更有效的视觉检索。这种效应是由P1振幅的变化和alpha波段振荡的增加介导的,尤其是在左半球,这些结果与优先激活类别特征的标签一致,这些特征能够最有效地区分类别成员和非成员,从而更好地识别类别成员并更有效地区分成员和非成员。

更基本的感知过程是检测,其中要求人们指出他们是否在特定时间段内看到过任何东西。简单的检测任务既不需要识别也不需要区分(除了从背景中区分对象)。当显示向后的遮挡字母时,被试要指出是否存在字母,以及这一表现是否受到之前听到的字母的影响(Lupyan & Spivey, 2010)。这项研究的一个缺点是,虽然遮挡使刺激难以看到,但它不会阻止语义加工。有研究使用连续闪光抑制 (continuous flash suppression,CFS) 来抑制更早的感知加工(Pasley et al., 2004)。一个有意义的图像呈现给一只眼睛,而闪烁模式呈现给另一只眼睛。闪烁模式通过双眼竞争的形式抑制图像的感知。在观看CFS显示器之前听到一个词(“南瓜”)可以使原本不可见的图像(南瓜)可见。这种效果仅限于语言提示与抑制刺激相匹配的试验因为通过 CFS 抑制的图像没有经过语义加工,所以这种检测优势不能归因于语言的下游加工。随后的研究支持了检测优势源于标签激活了待检测对象的形状(Noorman et al., 2018)。

另一种方法包括检测快速呈现的图像流中的刺激。当要求被试在非目标图像的视觉流中检测两个目标图像时(T1和T2),如果T2出现在T1后200-500毫秒,即所谓的注意眨眼(attentional blink),则呈现T1会导致人们错过T2。一种解释是,对T1的持续加工阻碍了T2进入第二个加工阶段,这是产生刺激的持久表征所必需的。在最近的一项研究中,研究人员使用稀有物体的图片作为T2。当被试先前将图片与口头描述的功能联系起来时(“这是一个鸡的孵化器”),他们表现出检测意识的增加(Weller et al., 2019)。这种效果是在刺激呈现后大约100毫秒从P1的调节中预测的。在另一项使用注意眨眼范式的研究中,被试为母语为希腊语和俄语的人,能够对浅蓝色和深蓝色进行不同语言的类别表征,表现出T2的检测增强 [48]。相比之下,不习惯用不同名称指代浅蓝色和深蓝色的德语使用者,在蓝色和绿色目标之间没有表现出行为或生理差异。至少在某些情况下,我们的母语会预测我们有意识地会做出什么感知。

5.语言进入感知的范围 ¶

从一种感知观点来看,语言可以影响视觉感知的想法是荒谬的。语言是人类独有的高级认知过程,它如何影响看似低级的视觉加工机制?但即使是最简单的感知任务,我们有意识的视觉体验也不能简单归结为视网膜神经节细胞的放电。从感知作为预测加工的观点来看,感知反映了对世界的“最佳猜测”,这些猜测是由先验知识、当前感官和对语境变化的相对可靠估计形成的。这个过程并不是视觉感知所独有的,它可能可以加工所有模式,包括对疼痛的感知(Box 2)。

语言影响预测过程的主要方式有两种,大致映射到图 2中的离线和在线区别。第一个是语言习得期间发生的情况。建立语言标签,促使学习者积极寻找方法来区分带标签的正面例子和负面例子。同样的过程也适用于其他类别的学习。在学习命名颜色时,我们不仅学习了特定语言在色彩空间中的词汇边界,而且我们了解到色彩与视觉体验的其他方面相分离(如纹理和生动性)。从语言中学习的感知相关知识,另一个重要来源可能来自对其分布结构。通过最小化语言输入中的预测误差,可以学习惊人数量的语义结构,包括感知特征之间的关系(Box 3)。

了解语言的这种离线角色对于理解语言如何影响感知至关重要。从逻辑上讲,当一个人学习一门语言时,习惯性地使用它的术语会逐渐但永久地重塑感知表征。然而,在这个早期的“形成”时期之后,语言可能不再积极参与感知。然而,在感知任务中操纵语言的研究(通过口头干预和口头提示)会影响一系列感知任务的表现,这很难通过纯粹的离线影响来解释。相反,语言似乎影响在线感知。

这就是语言影响感知的第二种方式:提供感知输入的分类期望。如果需要尽可能快速准确地识别一头奶牛,可以通过预激活区分奶牛和非奶牛的视觉特征来实现。事实上,与具有同等信息但分类信息不那么明确的非语言线索相比(奶牛的叫声),人们更能够识别带有其分类标签的奶牛图像(Lupyan & Thompson-Schill, 2012)。(尽管有一些证据表明,非语言听觉线索在简单的检测任务中可能更有效)从这个角度来看,语言线索与非语言线索的不同之处在于它们的关联模式。任何对汽车、牛或绿色的感知体验都非常具体;相比之下,语言用词来指代一系列对象/事件/关系;人们了解到“汽车”、“牛”和“绿色”可用于指代这些类别的任何成员。这使得标签非常适合设置各种分类期望。也就是说,语言和非语言线索建立预期的基本机制可能大同小异。

简而言之,学习一门语言使我们能够使用单词或更大的语言结构,作为一种灵活的方式来修改我们自己和他人的预测,改变自上而下的信息以及它在不同感知层次上的加工。这种预测编码的观点可能有助于理解语言对感知的影响。例如,使用不同颜色命名方案的人,在感知的颜色差异上似乎没有区别。

6.总结 ¶

这里的证据表明,语言影响基本的知觉加工,影响区分和检测等任务的表现,这些任务在本质上似乎完全是知觉的。这个结论可能会自然而然地从将感知视为寻求最小化预测误差的交互过程中得出。使用语言要求我们成为将数以千计的视觉感知进行归类的专家。这种经验不仅使我们能够有效地交流我们的感知体验,而且还能够使用这些词灵活地进行与任务相关的假设,在这些假设中,传入的感知信息可以变得更有意义。