论文信息 ¶

Lupyan, G., Abdel Rahman, R., Boroditsky, L., & Clark, A. (2020). Effects of Language on Visual Perception.* Trends Cogn Sci, 24*(11), 930-944. doi:10.1016/j.tics.2020.08.005

论文原文 ¶

关键词 ¶

无

摘要 ¶

语言会改变我们的感知吗？说不同的语言会让我们对事物有不同的看法吗？作者回顾了语言对知觉影响的行为和电生理证据，重点是视觉通道。语言对知觉的影响既可以在较高水平的认知过程中观察到，如recognition，也可以在较低水平的过程中观察到，例如辨别和detection。一个一致的发现是：语言让我们用一种更明确的方式感知。作者讨论的是语言对认知的影响是如何自然而然地产生于感知的互动性和预测性的本质的。

语言作为一种影响知觉的经验形式 ¶

人们很早就认识到，我们感知到的东西不仅由当前输入的物理属性决定，还由我们的感知历史决定。这种先前经验对知觉的影响不仅可以在有争议的“较高水平”的过程种观察到（如recognition），也可以在“较低水平”的过程中观察到（如动态补全、根据运动计算形状、根据物体轮廓和双目视差计算3D结构），尽管对其中一些进程的“模块化”仍有争议，但有一个相对的共识：我们所感知到的东西在很大的程度上是由先前的经验塑造的。但是那么什么样的经验很重要呢？越来越多的研究表明，知觉受到语言的影响。最无争议的是，语言经验会影响人们对语言的感知，比如在学习英语的时候，我们学习感知某些不同的语音在功能上是相似的，这种归类过程扭曲了我们的认知，导致我们根据自己的语言经验，将物理上等距离的声音感知为更相似/更不相似。而更有争议性的是：使用语言的经验以及它的即时使用会影响对非语言材料的感知。接下来的章节就会回顾语言如何影响感知的不同方面的证据，作者关注于视觉感知，并不是因为语言对感知的影响仅限于视觉，是因为大多数研究都集中于此。作者首先描述了两种语言对知觉的影响：1. offline效应，即对特定语言的长期经验影响人们随后如何经历特定的知觉输入。2. online效应，即语言的某些方面例如物体的名称，与即时的视觉加工的相互作用。随后作者回顾了语言影响知觉的经验证据，区分了语言对识别、辨别和检测的影响，作者讨论语言经验的差异是否会导致知觉经验的差异，并考虑作者所回顾的研究的多样性可能是如何从寻求将预测误差降低至最低的知觉系统的工作中产生的。

语言对识别、区分和检测的影响 ¶

语言对识别的影响看到一把椅子并认识它，需要将当前的知觉输入与之前的状态联系起来（例如，摆在我面前的这个东西是一把椅子，因为它看起来更像我以前看到的椅子而不是别的东西）。识别就是分类，那么作为语言学习的一部分，我们学习的类别是否会影响视觉识别？由于我们识别常规呈现的图片十分熟练，所以研究识别的有效方法就有呈现不完整或者其他零碎的图像。可能只有很少的人能够识别出来这类零碎图像。也就是说，考虑到一种输入，大多数人的感知系统无法理解它，如果我们被允许看见我们有更多识别经验的图像的常规版本，同样的输入也可以变得有意义。看见常规版本的图片不仅仅关系到识别成功，还可能在视觉层次的不同级别上引起可测量的变化，例如影响人们检测图像轮廓的能力，这是一种相对低级的感知任务。那么借助语言，人们的认知度也会有类似的提高吗？一些学者认为语言提示对识别零碎的图形几乎没有影响。而最近的研究发现，通过简单的口头按时就可以显著地提高认知度，例如，为被试提供15个选项，可以将对零碎图片地识别率提高到89%，通过更高级地提示，例如“乐器”，可以将识别能力提高到几乎相同地水平。这种效应可能地方式是，标签有助于形成假设，以对照视觉输入进行测试。当根据语言产生地假设进行处理时，原本无法解释地知觉输入变得可以解释。即使当视觉场景和语言内容无关时，语言也能改变我们对视觉场景地认知吗？答案是可以的，例如一只鸟的图像，不知道头朝下还是头朝上，要求被试在鸟嘴上画虫子，当被试看到真实的向上或者向下的运动，或阅读对身体运动的语言描述（完全和鸟类无关）时，被试对鸟头的识别受到这两个的影响。可能很容易将其中一些影响解释为语言对感知过程的下游解释的影响，而感知过程本身仍不受语言影响。区分那些更清晰的感知过程和那些可能反映更高层次的语义或下游决策过程的方法之一就是使用ERP。这些研究发现，保持感知经验不变，同时通过语言改变一个人对一个新物体的了解程度，会影响物体早期的视觉加工，学习物体的名称或功能会在被动观看时降低后续的P1幅度。
语言对区分discrimate的影响虽然识别图像需要将其从可能的备选方案里区分处理，但是在不识别图像的情况下成功区分图像也是有可能的。我们能够使用区分任务来判断语言对知觉的影响是否超出了识别范围。许多语言如何影响区分的研究都是在颜色领域进行的。事实上，颜色的名称可能影响颜色区分的研究通常被视为对沃尔夫假说的关键检验，尽管沃尔夫从来没提供语言会影响颜色知觉。颜色为什么是研究区分的一个重要领域？因为物理刺激是连续性的，但人们倾向于断章取义地说颜色。学习颜色词必然需要学习将颜色分组到以我们的语言命名的类别中，我们一般会认为相同名字的不同颜色在心理上比心理上等距离的、用不同标签命名的颜色更相似，这反过来可能会让我们以一种更明确的方式感知颜色，更令人费解的是一些语言有很多颜色词，而一些语言很少或者没有。研究表明，说不同语言的人表现出不同的颜色区分模式，例如与英语相比，在语言中必须比分浅蓝色和深蓝色的俄语者在区分深蓝浅蓝边界附近的颜色时显示出相对的优势（这种影响不也可能是语言的要求使得母语者接触浅蓝深蓝更多吗，这也能是语言的直接影响吗）。同时EEG研究发现，在颜色区分的任务中，跨语言的差异在观看一种颜色100ms后就出现了，在早期视觉加工中，观察到在加工一种语言中在词汇上有区别的物体而另一种语言中没有，也会有类似的影响。其次，有研究表明，通过操纵语言因素，可以改变个体内部的颜色区分。让成年人学习新的颜色类别（类似于儿童学习产生和理解颜色标签）可以诱导更多的类别颜色知觉。同时，一些研究发现用标签来干扰可以减少或者消除范畴效应并否定跨语言差异。但相反，例如先向被试呈现蓝色这个词，会显著提高他们区分蓝色和绿色的能力，同时略微降低区分典型蓝色和非典型蓝色的准确性。将这种类别典型性合并到模型里进行了进一步的预测：随着类别标签的激活（就像上面说的蓝色），将感知表征向类别原型转移，这种转变不仅影响跨越类别边界的颜色，而且还将扩散到类别中间周围的颜色。事实上研究发现，听到蓝色这样的颜色标签可以提高人们区分典型蓝色和非典型蓝色的准确率（这里怎么又和前面反了）。同时还有研究显示刺激顺序也有影响，例如先呈现非典型绿色，随后呈现典型绿和非典型绿，让被试判断哪个是先呈现的，这种情况下的准确率比先呈现典型绿色的准确率低，作者也对此给出了可能的解释。语言参与颜色知觉的更多间接证据来自于一下发现：在颜色区别任务中，人们在右视野表现出比左视野更大的类别间优势，语言干扰选择性地影响右视野地类别间辨别，并且在早期视觉加工中就已经观察到了偏侧化差异。同时，使用功能神经成像地相关研究中，发现颜色辨别任务会唤起与命名相关的皮质区域的活动，并且这种激活对于右视野中观察到的颜色更强，并且与识别难命名的颜色相比，识别容易命名的颜色会引起更大的命名区域的活动。（但并不是所有研究者都认为这一定表明了有语言的影响，因为也可能是左脑可能更专门进行范畴加工）语言对于视觉区别/辨别的影响不仅体现在颜色上。例如在一群p里面找到B这个任务，当听到“找到B”的时候会比听到“找到目标”的反应时间更快，即使这个标签不能提供任何信息，因为B总是目标。同样，对于上面的零碎的图片，一组是将不同的零碎图片呈现给被试但不给标记，第二组是将不同的零碎图片呈现给被试并且口头上给图片分类，结果显示第二组更好地辨别不同的图片。这些结果与标签能够优先激活类别诊断特征的说法一致，类别诊断特征是最有效地区分类别成员和非类别成员的属性，导致我们能够更好地识别类别成员以及更有效地区分类别成员和非类别成员。
语言对检测的影响检测detection是一个更基本的感知过程，在这个过程里，人们被要求表明他们在特定的时间段是否看到了什么，简单的检测任务既不需要识别，也不需要区分（除了区分物体和背景）。当简单地呈现隐蔽地字母时，当人们在单词呈现之前听到这个单词的名字时，会影响人们正确指示是否存在一个字母的能力。这就好像是这个名字让视觉系统准备好了检测（而不仅仅是识别）由标签表示一类形状。但这个研究的一个缺点：尽管刺激难以被看到，但它并不是妨碍语义处理，所以就有听到标签影响下游过程的可能性，而不是影响像视觉检测这种基本的东西。后来一个研究使用连续闪光抑制CFS在更早的水平上抑制知觉加工，在典型的CFS实验中，一张物体图片呈现给一只眼睛，而另一个高对比度的闪光图片呈现给另一个眼睛，闪光模式通过一种双目竞争的关系来抑制对图像的意识。在观看CFS显示之前，如果听到单词（南瓜）会让原本不可见的图像（南瓜）可见，并且听到南瓜并不会导致人们虚构看到根本不存在的南瓜。由于CFS抑制的图像不会进行语义处理，因此这种优势不能归因于语言的下游影响，随后许多研究也支持，检测优势来源于激活待检测对象的形状的标签。（这里还是不太明白为甚么前面的会有语义处理的可能）研究语言对视觉意识影响的另一种方法就是在快速呈现的图像流中检测刺激，一个经典发现就是，当被试被要求在非目标图像的图片流中检测两个目标T1和T2，如果T2出现在T1之后200-500ms，则呈现T1会导致被试错过T2，即所谓的注意力眨眼。而在最近的一项研究里，研究者用稀有物品作为T2，当被试提前将图片和其口头描述的功能联系起来时（例如，这是一个孵化器用来孵化鸡蛋），他们能够表现出意识检测的增加。

理解证据：预测性加工和语言进入知觉 ¶

（这一部分涉及太多理论性的东西，很多我都看不太懂，还要再找找其他文章看）语言对预测过程的影响主要有两种方式，大致映射为offline和online两种。第一个是发现在语言学习过程中的事，标签在这里可以被视为监督信号，实际上语言标签就像是人为的任务，促使学习者积极地寻找方法来区分积极和消极的例子。如果这个球被贴上了红色的标签，是什么让它是红色而不是绿色呢？接触这种案例提供了关于感觉模式的可预测性的重要信息。在学习颜色的时候，我们不仅了解到我们的特定语言在颜色空间中的词汇边界，而且还了解到，颜色是一个值得与视觉经验的其他方面分开的领域，例如纹理或者生动性。如果不是语言的要求，我们可能都不会对颜色进行抽象。从逻辑上来讲，随着一个人学习一门语言，习惯性地使用它的术语逐渐但永久地重塑知觉表征。然而，在这个形成期之后，语言可能就会不再积极地参与感知。然而，研究发现，在知觉任务中操纵语言（例如通过言语干预和逐次尝试地言语提示）会影响一系列知觉任务，并且难以纯粹用offline解释。相反，语言似乎调节了当下的知觉（这里就开始online的解释了）。那么似乎就有第二种语言影响感知的方式：通过提供一种对类别的期望，在这种期望中，传入的感知输入被加工。例如，如果需要快速准确地识别一头牛，可以通过激活能够区分牛和非牛地视觉功能来实现，这一系列的功能正是像“COW”这种分类标签来激活的，例如在识别牛之前先让被试听见COW这个分类标签可以促进识别，而听到牛的叫声却不行。这种标签引起的分类期望的想法可以用“基于类别的注意力”来表达。从这种角度看，语言线索和非语言线索的不同之处在于它们的联想模式。人们对任何一个汽车、牛等的知觉都是非常具体的，但是相比之下，语言中，相同的词被用来指代一系列的事件/关系，这就使得标签非常适合于建立各种分类（和关系）期望，而这些期望很难用非语言的手段有效地建立起来，也就是说，语言提示和非语言提示建立预期的潜在机制很可能大同小异（前面都还是不同，这是咋就大同小异了）。简而言之，就是：学习一门语言允许我们使用单词和更大的动词结构作为一种廉价而灵活的手段来修改我们自己和他人的预测级联，改变自上而下的信息带来的东西，以及它在不同的感知加工水平上的影响有多大（太抽象了。。）这种预测编码的观点可能有助于理解语言对知觉的影响的限制，以及经常观察到的任务的敏感性。（这些对于研究结果的解释都太抽象了，我还需要多看看论文，这里完全都看不明白。。。虽然能看懂实验设计和实验目的，但是一涉及到具体理论学说就很难对应，这里就先跳过了）

行为差异和主观经验差异 ¶

发现说不同语言的人在某些感知任务上表现出了不同，是否意味着学习不同的语言会导致我们以不同的方式看待世界？结果表明了语言会影响感知任务中的客观行为，这是否意味着语言会影响世界的外观？一些人认为答案是否定的。上面提到的很多研究都在煞费苦心地排除对观察到地行为变化的替代解释，试图证明这些影响的知觉本质，这些观察结果提出了两个问题。行为上的客观差异和经历上的主观差异，哪一个更重要？例如两个被试AB都在执行同样困难的辨别任务，AB都告诉我们他们根本无法区分这些物体，A的数据就是chance level，而B的表现更好，远远高于chance level，那么我们会认为A和B的感知是相同的吗，或者，我们是否相信观察到的客观行为的不同？也许我们会有充分的理由选择基于客观行为的衡量标准。如果主观经验存在的话，我们会知道它的不同吗？一系列研究都表明我们十分强烈地假设相同的知觉输入应该产生相同的知觉体验。通过比较文献，才能发现到有时候并不是同样的知觉输入引起同样的知觉体验。研究者可以某种程度上操纵自上而下的影响，例如测试不同语言的双语者，通过言语干扰等来降低语言的影响，或者通过公开展示标签来调节影响，当这些操纵缺失导致行为差异时，我们就可以推断，我们的正常体验一定在某种程度上受到了被操纵的语言因素的影响，有时候，即使是微小的操作也会导致主观体验的不同。

总结 ¶

首先对比了关于语言和知觉之间的关系的两种观点，讽刺的是，虽然萨丕尔的观点并没有得到任何上述实证结果的支持，但他的观点比平克的更中肯。平克将语言影响思维和感知的观点归因于科学家们对思维如何工作甚至是如何研究它一无所知的时代。有一段时间，语言和感知都被任务是信息封装的，它们的输出被反馈到一般领域的认知系统但互不影响。在这里回顾的证据表明，语言影响基本的知觉加工，影响诸如辨别和检测等任务的表现，这些任务本质上似乎完全是知觉的。这一结论并不激烈，而是将感知视为寻求将预测错误降至最低的互动过程中自然得出的。成为一个语言使用者需要我们成为将成千上万种视觉感知归类到命名类别中的专家。这种经历不仅使我们有能力有效地交流我们的感知体验，而且还可以使用这些词语灵活地部署与任务相关的假设，在这些假设中，传入的感知信息可以变得更有意义。