视觉搜索后的记忆：重叠的语音、共享的意义和双语经验影响我们的记忆

一、文献名称 ¶

Marian, V., Hayakawa, S., & Schroeder, S., R. (2021). *Memory after visual search: Overlapping phonology, shared meaning, and bilingual experience influence what we remember. Brain and Language, 222, 105012. https://doi.org/10.1016/j.bandl.2021.105012

论文原文

二、研究背景 ¶

在日常生活中，我们经常依赖我们在复杂的视觉场景中定位特定对象的能力。除了内部动机的搜索任务（例如，在开车时寻找地标）外，视觉搜索还可以由外部刺激进行，包括语言指令（例如，“小心那辆车”）和环境声音（例如，汽车喇叭）。这些例子说明了视觉搜索的多模态性质，它通常不仅涉及到对长期记忆中存储的视觉表征的访问，还涉及到其他相关属性，包括目标对象的语义、听觉和语言特征。

本研究的目的有两个：第一，考察视觉搜索过程中的语义和语音竞争是否会影响物体后来被记住的程度；第二，探索语境和个体差异，特别强调双语经验的影响，如习得、接触和熟练程度。

视觉搜索中的记忆检索：就目前的研究而言，视觉场景的处理可能受到存储在记忆中的跨模态表征（例如，口语、环境声音）激活的影响，根据它们是否与显示器中的目标或非目标物体重叠，可以引导注意力促进或干扰视觉搜索。在这里，WM也被认为在引导注意力和眼球运动方面起着关键作用，通过将激活的表征相互绑定，并绑定到特定的位置（见Huettig，Olivers和Hartsuiker，2011；Wolfe，2021）。因此，WM和LTM（长时记忆）痕迹的检索和维护在引导视觉注意和搜索方面起着重要作用。

视觉搜索中的记忆编码：一些发现表明在视觉搜索过程中看到的无关对象可以被意外地编码到LTM中，并且编码强度随着与目标的相似性而增加。

三、实验过程 ¶

52名不同程度的多语经验被试，被试以英语，西班牙语为母语。在所有参与者中，有18人报告说精通三种或三种以上语言（法语、希伯来语、意大利语、拉丁语、葡萄牙语、中文）。

本研究设计为2（输入）×2（竞争类型）×3（对象类型）混合设计，输入（声音、单词）在受试者之间变化，竞争类型（语音、语义）和对象类型（目标、竞争对手、控制）在受试者内部变化。在实验的编码阶段，参与者完成了一系列视觉搜索试验，在试验过程中，他们被呈现一个听觉目标线索（一个单词或一个声音）和一个描绘四个物体的视觉显示。在所有搜索试验之后，参与者对之前看到的关键对象（目标、竞争对手和控制对象）进行了一次意外识别记忆测试。为语音测试收集了15组刺激，其中包括记忆测试的三个关键对象：一个目标（如猫）、一个英语语音竞争者（如cast）和一个无关的控制对象（如熨斗）。类似地，这15个语义集包括一个目标（例如狗）、一个分类语义竞争对手（例如狐狸）和一个无关的控制对象（例如手电筒；每个语义集的关键项完整列表见附录中的表A1）。

Tab-A1

15个语音集和15个语义集的所有描绘对象在英语和西班牙语词频、英语和西班牙语语音邻域大小上匹配。

30个刺激集中的为视觉搜索任务构建四种不同的试验类型：1）目标存在/竞争对手存在，包括一个目标、一个与目标相邻的竞争对手和两个不相关的填充物；2）目标存在/竞争对手不存在，包括一个目标、一个与目标相邻的不相关控制和两个填充物，3）目标缺席/竞争对手在场，包括一名竞争对手和三名填充者；4）目标缺席/竞争对手缺席，包括一名控制者和三名填充者。因此，每个关键对象出现的次数相等，目标始终出现在竞争对手或控制对象附近，竞争对手和控制对象从不出现在同一显示器内（每种试验类型的示例见图1）。

Fig-1

1、编码阶段

在编码阶段，参与者在完成240个测试之前，会被呈现一组实践测试，以熟悉视觉搜索任务。每项试验都以1500毫秒的固定十字开始，然后是5000毫秒的四画面视觉显示。在搜索显示开始500毫秒后，听觉目标线索（口语或环境声音）开始播放，并指示参与者尽快点击目标图片（如果有），如果没有，则点击中央固定十字。响应后，选定象限周围出现绿色边框。搜索显示在屏幕上保持5000毫秒，无论何时做出响应，这样编码时间在所有试验和参与者中都是固定的。

Fig-2

2、retrieval阶段

在编码阶段之后，参与者接受了一项意外识别记忆测试，其中包括90张关键图片中的每一张（30张目标图片、30张竞争对手图片和30张对照图片），以及60张之前未见过的“foil”图片。在每一次试验中，参与者被呈现一张图片，并被要求点击一个标记为旧的框（如果之前在编码阶段看到过），以及一个标记为新(如果之前没有）的框。在每次试验后，参与者点击屏幕中央的一个框，使鼠标位置居中。三种关键物体类型的记忆都被评估为正确识别为“旧”的物体的比例。

两组分析：

1）确定听觉输入、竞争和双语能力的分类变量对后续记忆的影响。

2）评估竞争的影响是否通过持续测量双语专业知识和经验的个体差异来调节。

各自分析的结果：

1）听觉输入（单词或声音）和语言组（单语或双语）如何影响语义和语音竞争对手的记忆 。

我们首先研究了对象类型（目标、竞争对手、控制）、竞争类型（语音、语义）、输入（声音、单词）和语言组（单语、双语）对参与者识别先前观看的视觉对象的影响。没有西班牙语经验的说英语的人被指定为单语，而同时有英语和西班牙语经验的人被指定为双语。

Fig-3

被试对竞争对手对象的记忆明显优于对照对象，表明与目标的相似性会影响后续无关项目的记忆。对目标物体的识别能力比对照组和竞争对手都强，语义组中的物体比语音组中的物体更容易记住。 在单语者中，竞争（竞争对手-控制）对识别的影响大于双语者，与双语者相比，单语者的竞争对手识别和对照者识别之间的差异更大。

比较显示，竞争的效果取决于竞争类型和听觉输入。当目标被一个单词而不是一个声音提示时，对语音竞争者的识别超过了语音控制组。语义竞争者在单词和声音条件下都超过了语义控制组。总之，我们发现视觉加工过程中的竞争确实会影响随后的记忆，其效果受语言背景和听觉输入的调节。当双语被视为一个范畴变量时，与单语者相比，双语者的竞争效应会降低，而当目标被单词而不是声音提示时，语音竞争效应会更大。后一个发现与词汇和声音通过不同的级联激活途径获取词汇信息的观点一致，竞争对记忆的影响较小，加工途径更为间接。

2）语言经验的个体差异如何影响语义和语音竞争者的记忆

双语体验对记忆的影响。

分析显示，与双语经验较少的人相比，双语能力和习得能力较高的人在记忆提取时受语义竞争的影响显著较小（即，与对照组相比，不太可能更好地识别语义竞争对手）。

语音竞争较少影响双语能力和习得。然而，对于语音（而非语义）竞争的影响，Dual- Language Immersion （一般）的影响稍显显著，生活在多语言环境中的经验与竞争对记忆的影响降低有关（见图4）。因此，我们发现有证据表明，随着双语经验的增加，语义和语音竞争对记忆的影响都会降低，但语言历史和能力的特定方面会因竞争的来源而产生不同的影响。虽然语义竞争的影响随着早期习得和跨多种语言熟练程度的提高而下降，但语音竞争的影响随着双语环境中沉浸时间的延长而下降。

Fig-4

当个体差异的影响被输入条件分解时，我们观察到，当目标被一个单词而不是一个声音提示时，双语能力/习得对语义竞争对手（相对于对照组）记忆的影响更为显著，然而，与对照组相比，双语言浸入对语音竞争者记忆的影响（相对于对照组），对声音的影响大于对单词的影响。最后，研究发现，正式的双语言习得/暴露可以减少语音竞争对声音记忆的影响，但对单词条件没有影响 。

总之，我们观察到语义竞争相应声音提示大于单词，而语音竞争对相应单词提示大于声音。这一模式与我们的预测一致，即当竞争表征通过更直接的加工途径（即声音到语义表征，单词到语音表征）激活时，竞争对记忆的影响应该最显著。我们还发现，双语体验的个体差异预测了竞争效应的大小，双语的影响因竞争类型（语义、语音）、输入类型（声音、单词）和双语体验形式（熟练程度/习得、沉浸、接触）而不同。

总之，本研究表明，与我们所看到的物体相关的语义和语音特征不仅会影响我们当时的注意力，还会影响我们事后的记忆。我们的记忆受相关信息影响的程度随着我们直接的多感官环境与我们一生积累的语言经验的相互作用而变化。