选择性注意对跨模态交互作用的影响

1.参考文献 ¶

Evans, K. K. (2020). The role of selective attention in cross-modal interactions between auditory and visual features. Cognition, 196(2020), Article 104119. https://doi.org/10.1016/j.cognition.2019.104119

论文原文

2.研究背景 ¶

听觉（音高和响度）和视觉（垂直位置、大小、亮度、形状）特征之间的跨模态关系已使用心理学方法进行了研究，例如匹配和加速分类任务（Marks，2004；Spence , 2011)。这些联系似乎是自动的和跨文化的；婴儿和非人类灵长类动物也表现出这一点（Dolscheid、Hunnius、Cassanto & Majid，2014；Marks、Hammeal 和 Bornstein，1987；Mondloch & Maurer，2004；Walker，2009 ）。然而，对于这些跨模态交互发生条件的研究相对较少。特别是注意力的作用还没有得到太多的研究。注意力的作用真的是自动的吗？

注意力不是一个单一的系统，而是一系列的机制。空间注意力作为选择性注意力机制之一已被证明是许多感知任务所必需的（Treisman，1998；Treisman & Gelade，1980）。但是选择性注意机制是否是跨模态整合所必需的？通过增加感知负荷或通过在并发任务之间分配注意力来增加选择性注意力需求，是否会改变跨模态交互的结果？

注意力在跨模态整合中的作用尚不清楚。注意力与多模态感官输入整合之间相互作用的研究显示出注意力的明显影响，而其他人则认为注意力没有影响（Talsma,Senkowski, Soto-Faraco, & Woldorff, 2010; Ten Oever et al., 2016）。相关综述指出，最好将跨模态整合中的自动加工下一个定义，引用了Moors & De Houwer (2006)用来判断自动加工的四个关键特征：独立于目标、无意识、负荷不敏感和速度。

Evans和Treisman (2010) 比较了音调与视觉位置一致和不一致时的表现。一致性是在无意识中检测到的，因此是自动的。然而，交互作用的发生可能是因为任务没有使用所有可用的注意力资源，而且还有足够的剩余时间来加工不相关维度。根据注意力和认知控制的负荷理论(Lavie & Dalton, 2014)，当执行认知操作所需的资源量没有超过系统的能力时，不会观察到注意力对感知的影响。

此项研究进行三个实验，表明选择性注意对跨模态整合是否有影响，通过增加感知负荷或并行任务来增加对选择性注意的需求，检验跨模态一致性效应会消失，还是会在更高的感知负荷下（更大的注意力需求）持续存在。如果跨模态交互不需要注意力，那么低负荷和高负荷条件下一致性效应的大小应没有显着差异。

3.研究方法 ¶

19名普林斯顿大学本科生（9名男性，11名女性）参加了实验。所有人的视力和听力均正常或矫正。

使用 MATLAB（Mathworks Inc.，Natick，MA）和Macintosh G3上运行的 Psychophysics Toolbox（Brainard，1997；Pelli，1997）呈现刺激。视觉显示呈现17英寸的屏幕上，观看距离为57厘米，显示器刷新率为75 Hz。声音通过位于计算机屏幕左右两侧的扬声器播放，扬声器之间的距离为 20 厘米。

图1

在初步研究中，确定了两对视觉刺激和两对听觉刺激，其中一对比另一对更容易区分。在任务中记录准确性和反应时。视觉刺激是呈现在灰色背景上的黑白正弦光标。光标在中心十字上方或下方4.5°呈现。要区分的视觉特征是光标方向，在高负荷条件下是右45度和75度的区分，在低负荷条件下是左45度和右45度的区分。听觉刺激是两种不同音高的音调（C3和C4），以75 dB (A) 的强度呈现并由不同的乐器演奏。在高负荷条件下，被试区分钢琴和电子琴，在低负荷条件下，区分钢琴和大键琴。

任务模块一半是听觉的，另一半是视觉的。听觉任务需要对产生音调的乐器进行分类，而视觉任务需要对光标方向进行分类。在一半的模块中，区分任务很困难（高负荷），而在另一半中很容易（低负荷）。每个试验以500 ms的注视开始，然后是120 ms的视觉和听觉刺激同时呈现。一个黑白光标出现在显示器的上部或下部，同时从扬声器中发出或高或低的音调。在视觉任务中，当他们检测到一个向左的（简单的模块）或深色光标（困难的模块）时，他们用左手尽可能快地按下一个键，当他们检测到一个向右的（简单的模块）或浅色光标（困难的模块）时，用右手按下另一个键。在听觉任务中，他们在检测到钢琴音色时用左手按下一个键，在检测到大键琴（简单模块）或电子琴音色（困难模块）时用右手按下另一个键。在被试之间以平衡的方式改变了做出反应的手和反应键。每个被试完成了两个简短的练习模块（1个视觉和1个听觉）和8个实验模块（4个视觉和4个听觉分类任务）。实验中每个条件有160次试验（8个条件：一致性（2）x 感知负荷（2）x 相关模态（2）），练习模块有40次试验。每个模块内的试验顺序是随机的。

三向重复测量方差分析（负荷x任务x一致性）分别计算正确率和反应时。错误反应或反应时短于150毫秒或与平均值相差超过3个标准差的试验被视为异常值，并排除。正如预测的那样，被试在高负荷条件下犯了更多的错误（14% 对 9%；F (1, 18) = 23.37，p < 0.00013，ηp2 =.57）并且反应更慢（573 对 519；F (1, 18) )= 60.27, p < 0.00001, ηp2 =.77) ，表明高负荷条件的要求更高。负荷和任务有交互作用，相比于低负荷听觉任务 (543 ms, sem 19 ms)，低负荷视觉任务的反应时明显更快（495 ms，sem 16 ms）（F(1,18) = 9.17, p < 0.007, ηp2 =.334 )，但没有与一致性的交互作用 (F < 1, ηp2 =.031)。一致和不一致刺激对之间的准确度没有显着差异（均为89%；F (1, 18) < 1,ηp2 =.039），但一致刺激对的反应时明显快于不一致刺激对（542对550；F (1, 18) = 51.60,p < 0.000001, ηp2 =.75) ，这与之前的研究一致（Evans & Treisman，2010）。负荷（高与低）和一致性（一致与不一致）之间的交互作用不显着（F (1, 18) = 1.99, p < 0.175, ηp2=.102）。听觉和视觉刺激的一致性效应在低负荷和高负荷条件下没有显着差异，这意味着音高和视觉位置之间的跨模态交互是自动的，不受负荷影响。

另一种可以分析个体平均差异的方法是计算不同任务的一致性分数来标准化高负荷和低负荷的RT。一致性分数的计算：计算不一致和一致条件试验之间的差异，然后将差异除以不一致条件的个体均值RT(RT(incongruent) − RT(congruent)]/RT(incongruent)（Störmer、Eppinger & Li , 2014)，进行双向（任务x负荷）方差分析时，一致性效应仍然没有显着变化（F(1, 18) = 2.99, p = .101, ηp2 =.143）并且没有与任务的交互作用（F(1, 18) = .194, p = .665, ηp2 =.011）。说明在听觉或视觉任务中，负荷和一致性之间没有显着的交互作用。

在实验2中使用视觉搜索范式改变感知负荷，看检索任务的难度是否会影响一致性。

20名普林斯顿大学本科生（6名女性，14名男性）参与了实验。所有人的视力和听力都正常或矫正。

图2

视觉刺激是5个字母组成的矩阵，这些字母呈现在一列中。声音刺激通过位于屏幕左右两侧的扬声器播放。声音刺激是高音G2和低音C2，以75 dB (A) 的强度呈现。

任务是检索两个视觉目标中的一个（X或S）。目标出现在除中央位置外的四个位置，各个位置的出现概率均等。每个试验开始时注视500 毫秒，然后是视觉目标和1000毫秒的音调。被试检测到字母X时尽可能快地按下一个键，检测到字母 S 时，用同一只手尽可能快地按下另一个键。反应键在被试之间平衡。每个被试完成了四个实验模块以及练习模块。4种条件（一致性 (2) x 感知负荷 (2)）各有 120 次试验，练习实验有20次实验。每个模块内的试验顺序是随机的。

自变量是一致性（音高与目标位置）和感知负荷（目标和干扰之间的区分难度）。当高音与上方两个视觉位置的目标配对时，是一致的，当与下方两个视觉位置配对时，是不一致的。感知负荷由矩阵中的字母多样性决定，包含四个不同干扰字母的数组是困难任务，包含四个相同干扰字母是简单任务。因变量是在不同条件下对检测正确目标的反应速度。

在两种负荷条件下的表现都远高于机会水平，低负荷条件下的准确率显著高于高负荷水平（F (1, 19) = 20.74,p < 0.002, ηp2 =.517）。一致和不一致配对之间的准确率没有显着差异 (F < 1, ηp2 =.009) 并且与任务难度没有交互作用 (F < 1, ηp2 =.001) 。

对反应时进行ANOVA分析（任务难度x一致性）显示出任务难度的主效应 (F (1, 19) = 70.94, p < 0.000001, ηp2 =.785) 以及一致性的主效应 (F (1, 19) = 30.35, p < 0.00001, ηp2=.611) 但两者之间没有显着的交互作用（F < 1，ηp2=.001）。使用计算一致性分数以标准化RT时，在两种任务难度下的一致性效应也没有显着差异（t(19) = .359, p = . 723)。在高负荷条件下，被试的平均反应时为 698 ms（s.e.m. 2 ms），而在低负荷条件下为 667 ms（s.e.m. 2 ms）。一致配对的反应时为 677 ms (s.e.m. 2 ms)，而不一致配对的反应时为 687 ms (s.e.m. 2 ms)。反应时数据揭示了当视觉目标位于上方的两个位置时，高音有利于搜索，而低音则有助于在下方搜索目标。这些发现进一步支持音高和位置之间的关联是自动的。这表明音高和视觉位置的一致性与注意力无关。

在实验1和2中，相比于不一致配对，音高和空间位置的一致配对加速了对目标的分类和检索。然而，随着感知负荷的增加而提高注意力需求，不会显着改变一致性效应。实验1和实验2都没有表明注意力在音高和垂直位置之间的跨模态交互中起着至关重要的作用。

实验3的目的是测试在模态之间分配注意力是否会影响一致性效应的大小。如果需要注意力整合不同模态中的刺激，则一致性效应会减少。另一方面，可以通过确保两种模态都被关注来增加一致性效应，从而增加一致性的显着性。

21 名普林斯顿大学本科生（5名男性，16名男性）参加了实验。所有人的视力和听力都正常或矫正至正常。

使用与实验一相同的设置和刺激。

听觉任务是对产生音调的乐器（钢琴或小提琴）进行分类，视觉任务是对光标的方向（左或右）进行分类。双任务模块要求被试检测两种模态中目标存在还是不存在。例如目标是向左的光标（一半被试是向右的光标）和钢琴音（一半被试是小提琴音）。不会出现向左的光标伴随钢琴音的情况，因为那时被试将不得不给出两个反应。

每个试验从 500 ms 的注视开始，然后是 120 ms的视觉和听觉刺激。一个由黑白光标出现在显示器的上部或下部，同时从扬声器中发出高或低的音调。被试的任务因模块而异。在视觉任务模块中，他们在检测到向左的光标时尽可能快地按下一个键，而在检测到向右的光标时按下另一个键。在听觉任务模块中，他们在检测到钢琴音时按下一个键，在检测到小提琴音时按下另一个键。在双任务模块中，目标是向左的光栅或钢琴音时，他们用左手按下一个键，而两者都没有时，他们用右手按另一个键。做出反应的手和反应键在所有条件下都平衡。有三个实验模块和一个练习模块。每个条件（一致性（2）x任务（3））有120次试验，练习模块中有40次试验。每个模块内的试验顺序是随机的。

自变量是音高和光标位置的一致性，以及任务难度（单任务或双任务）。因变量是在不同条件下的正确率和反应是。比较了单模态任务和双模态任务中一致和不一致视听刺激对之间的差异。

三个任务条件下的准确率都远超机会水平，在单任务条件下的准确率比双任务条件要好得多(F (1, 20) = 51.79, p < 0.000001, ηp2 = .729; F (1,20) = 31.36, p < 0.00001, ηp2 = .612)。一致和不一致配对的准确率没有显着差异（F < 1，ηp2 = .053），并且与任务类型没有交互作用。

对反应时进行ANOVA分析（双任务或两个单任务x一致性），显示了任务类型的主效应（F (1, 20) = 60.71, p < 0.000001,ηp2 = .752) 和一致性的主效应 (F (1, 20) = 23.77,p < 0.000001, ηp2 = .541)，但两者之间没有显着的交互作用 (F < 1, ηp2 = .016)（图5）。与双任务相比 706 ms (sem10 ms)，两个单任务有更快的反应时（视觉 513 ms，sem 11 ms 和听觉 590 ms，sem 10 ms）（F (1, 20) = 105.77, p < 0.000001，ηp2 = .841；F (1, 20)= 50.05，p < 0.000001，ηp2 = .715）。视觉辨别明显快于听觉辨别（F (1, 20) = 19.08,p < 0.00029, ηp2 = .488)。任务与一致性之间的交互作用不显着，表明一致性效应的大小不受注意力需求的影响。

实验3的结果表明，当双重任务将注意力分散在两种模态之间时，被试的整体表现不如单一任务，但一致性效应没有显着差异。

4.总结 ¶

研究发现注意力负荷对简单的视觉和听觉刺激的跨模态交互没有影响。尽管在三个实验中选择性注意需求大幅增加，一致性效应仍然完好无损。研究结果表明，在音高和垂直位置之间观察到的一致性效应，反映了一种自动且独立于选择性注意的一致性效应。