情绪词与垂直空间的跨模态映射

1.参考文献 ¶

Montoro, P. R., Contreras, M. J., Elosúa, M. R., & Marmolejo-Ramos, F. (2015). Cross-modal metaphorical mapping of spoken emotion words onto vertical space. Frontiers in Psychology, 6(2015), Article 1205. https://doi.org/10.3389/fpsyg.2015.01205

论文原文

2.研究背景 ¶

有人认为抽象和情感概念具有感觉运动特性。研究已经表明情感效价和垂直平面之间存在隐喻关联（Meier & Robinson，2004；Meier，2011；Sasaki，2012，2015；Santiago，2012 ；Marmolejo-Ramos & Dunn，2013；Marmolejo-Ramos，2013，2014；Xie，2014，2015；Damjanovic & Santiago，2015）。大部分研究使用视觉词作为实验刺激，因此大多是视觉模态内任务（图像对文字加工的影响），并且很少研究跨模态效应（声音对文字加工的影响）；更不用说研究跨模态加工中的情绪了（Gerdes，2014）。此项研究旨在探讨情绪听觉刺激与垂直视觉空间之间的关联。使用听觉-视觉的跨模态范式来探索情绪概念和身体空间的隐喻映射，也就是研究具有情感效价的听觉刺激（词语）是否可以影响视觉刺激的空间定位，以及是否符合“积极向上/消极向下”的垂直空间隐喻。此外，在听觉刺激和视觉线索之间使用了不同的时间间隔，以探索这种视听情感加工的自动性（还是缺乏自动性）。

大多数关于情绪的研究都采用视觉刺激。然而，最近研究使用了与其他模态相关的非视觉情绪刺激。Tajadura Jiménez(2010) 的研究表明，令人不快的声音比令人愉快或中性的声音引起更强烈的情绪反应。其他使用触觉刺激的研究发现，触摸手势（通过触觉设备）也可以传达不同的情感意图（Rantala et al., 2013）。具体来说，挤压动作与令人不快的情绪有关，而手指触摸更能传达愉快和放松的情绪意图。这些研究表明，情绪刺激确实可以影响身体的躯体感觉和感觉运动系统。

研究表明，情绪受躯体感觉和感觉运动系统的影响，这些系统协同工作以对内部或外部刺激做出反应（Scherer，2005）。最近的神经影像学研究进一步表明，体验情绪需要激活参与各种心理过程的多模态大脑网络（Oosterwijk，2012）。此外，对情绪具身化的研究表明，情绪概念和词语也可以引发多模态网络的激活（Niedenthal，2005，2009；Marmolejo-Ramos，2015）。Wilson Mendenhall (2013) 发现感觉运动皮层、杏仁核和海马体在涉及身体危险和社会评价的情境想象中被激活。这些发现支持在加工情绪时需要激活与体感和感觉运动系统相关的概念。

当概念从源域映射到目标域时，就会出现概念隐喻。目标域指的是要映射到源域的抽象概念（Gallese & Lakoff，2005）。基于这些前提，Wilson 和 Gibbs（2007）发现，与不执行任何类型的动作相比，执行身体动作，甚至想象它们，有助于理解隐喻句子。在情感和空间的情况下，情感（目标域）被概念化为空间位置（源域）。也就是说，较高的位置比较低的空间位置更积极，积极的词往往被分配在较高的空间区域，而消极的词往往被分配在较低的区域（Marmolejo-Ramos et al., 2013）。为了测试情绪在空间上的隐喻映射，Ansorge 和 Bohner （2013）使用了一个隐性联想任务，当目标词出现在空间一致的位置（屏幕上部的“快乐”）比出现在不一致的位置上（屏幕上部的“悲伤”），被试反应更快，并且这种关联似乎是隐性的。其他研究证实，情感句子也可以映射到空间；然而，只有当任务需要对目标进行明确的情感评估时，这种关联才成立（Marmolejo-Ramos，2014）。最近，Meteyardet al (2012) 回顾了四种不同的具身理论，这些理论从“强具身”（完全依赖于与感觉运动系统的关系）到“非具身”（两者之间完全独立）。此项研究检验了需要深度语义加工才能出现具身效果的假设。

一些研究发现，视觉呈现的情感词在垂直空间上的映射似乎是自动发生的，然而这是不明确的。对听觉和视觉刺激时间间隔的系统操纵可以提供有关情感与身体空间的隐喻互动的时间过程的相关信息。由于使用不同的感官输入，跨模态范式的一个关键好处在于可以较为精确地控制刺激之间的时间间隔。

此项研究包括两个实验。实验1通过听觉-视觉的跨模态任务来研究情感和垂直空间之间的隐喻关联。被试被动地听到刺激，不需要对这些听觉词做出任何反应。实验2中需要更积极地听刺激。两组被试执行不同的任务，将情感任务与非情感任务进行比较。在这两个实验中，都操纵了听觉和视觉刺激之间的时间间隔，以探索情感和空间隐喻映射的时间过程。

3.研究方法 ¶

检验了具有情感效价的听觉动词是否可以根据积极向上、消极向下的垂直空间隐喻来影响任务的反应。播放包含情感词的听觉刺激后，被试必须快速检测视觉目标的位置，目标显示在屏幕上的高或低处。这项任务不需要对听觉刺激进行评估，以测试单纯的被动聆听是否足以产生隐喻的空间关联。

17 名本科生（12 名女性和 5 名男性，M = 31.6，SD = 7.9，年龄范围 = 19-48，）参加了实验，以西班牙语为母语，视力正常或矫正。其中两名被试是左撇子，其他人是右撇子。

视觉目标显示在两个11.3 cm×3.0 cm 白色框中的一个 (255 RGB) （10.8°×2.9°），呈现在屏幕中心上方和下方 8.0 cm（7.6°）。视觉目标为黑色 (0 RGB) 并呈现在浅灰色背景上 (192 RGB)。Masks由黑色和灰色方块组成。

图1

使用了 48 个表示情绪的西班牙语不定式动词。其中一半表达积极情绪[divertir（娱乐）]，另一半表达消极情绪[sufrir（受苦）]。通过将 Santiago (2012) 研究中的48个情感形容词转换为不定式动词而获得。练习模块包括另外的12个动词：6个积极和6个消极。动词由一位专业的西班牙语女电台播音员以中性语气进行录制。平均听觉词持续时间为 640.2毫秒。进行了额外的分析以比较积极和消极词的词长和词频，发现两种词之间的词频 [t(46) = 0.01, p > 0.10] 和词长 [t(46) = -0.82, p > 0.10] 没有差异。

被试距离屏幕约60厘米。试验开始时在屏幕中央显示十字，其上方和下方有两个矩形框。要求被试一直盯着十字直到试验完成。在由程序随机选择的500到1,000毫秒之间的可变时间段后，通过耳机呈现听觉词。要求被试被动地听听觉词并等待视觉目标的呈现。在听觉词结束时，有两个可能的刺激间隔（ISI；200或350毫秒），然后视觉目标在两个方框之一中显示200毫秒，然后在方框中填充两个masks 200毫秒。目标位置在每次试验中随机，但出现在上部和下部的比例相等，要求被试检测目标的位置。键盘右侧的“5”、“2”和“8”键分别被指定为“休息”键、“向上”键和“向下”键。印在“8”（向上箭头）和“2”键（向下箭头）上的标志性箭头加强了反应键的空间隐喻，以模拟身体空间。有一个练习模块和六个实验模块。每个实验模块有96个试次，共576个实验试次，而练习模块有48个试次。反馈只在练习试次中提供。实验持续了大约40-45分钟。短暂休息后，在被试事先不知情的情况下，进行听觉刺激自由回忆测试。要求被试在5分钟内尽可能多地在纸上写出实验中的词。

实验设计包括三个被试内因素：词语的情绪效价（积极与消极）、视觉目标位置（上与下）和ISI（200与350毫秒）。

被试在99.5%的试验中正确回答。对于反应时 (RT) 分析，只包括正确反应和超过200毫秒的RT。估计每个被试在每个条件下的RT中位数，并进行方差分析。选择中位数是因为它不太受异常值的影响（Whelan，2008）。采用2×2×2的实验设计对RT进行方差分析，发现了ISI的主效应：与较短的间隔 (407 ms) 相比，在听觉词和视觉目标之间的较长间隔后，被试反应更快 (398 ms)，F(1,16 ) = 18.54, MSE = 15.45, p = 0.001, η2p = 0.54。此外，视觉目标位置的边际显著效应，F(1,16) = 3.33，MSE = 2327.7，p = 0.087，η2p = 0.17，对上部位置的反应 (395 ms) 比下部位置更快（410 毫秒）。没有其他主效应或交互作用。对准确率进行了相同的分析。没有显着效应或交互作用。

图2

回忆起来的平均单词数为8.31（SD = 5.19；范围 = 1-20），积极词为4.00（SD = 2.78），消极词为4.31（SD = 3.05）。正确回忆的平均数为6.81 (SD = 4.9)；积极词为 3.25 (SD = 2.7)，消极词为 3.56(SD = 2.5)。平均而言，被试正确记住了14.2%的单词（SD = 10.2）；积极词为 13.5% (SD = 11.2)，消极词为 14.8% (10.4)。最后，将正确回答的数量除以回忆的单词总数，计算出每个条件的正确比。每个条件的平均正确比为0.76 (SD = 0.27)，在0.33和1.00之间波动。

结果表明，听觉词汇的情绪效价对视觉目标的反应没有影响。零效应的一个可能原因在于被试被动聆听。被试不必使用任何涉及听觉词语的认知操作，显然，听觉词的唯一作用是充当准备信号。在自由回忆测试中观察到的相对较差的表现，表明被试完全忽略了听觉词汇。根据先前的视觉-视觉实验的结果（Marmolejo-Ramos，2014），情感与垂直空间的交互可能需要在词语情感内容的明确加工，以获得可靠的行为效应。

如果需要明确加工情感内容来产生语义空间交互，那么应该只在情感任务中观察到具身效应。如果只需要主动聆听听觉词，那么在非情绪任务中也会观察到具身效应。此外，为了避免听觉刺激的可变持续时间的影响（359 -932 ms），使用SOA程序（stimulus onset asynchrony）更严格地控制口语和视觉目标之间的时间间隔。实验2有两个不同的时间间隔：200和400 ms。除了这些改进之外，在实验结束时还包括识别测试和情绪效价评估。识别测试评估在实验过程中被试对听觉单词的加工水平。情绪效价评估是为了可靠地测量听觉词语在被试中的情感显着性。

30名本科生（21 名女性和 9 名男性，Mage = 24.3，SDage = 6.2，年龄范围 = 19-45）参加了实验。以西班牙语为母语，视力正常或矫正。其中两名被试是左撇子，其他人是右撇子。被试被随机分配到两组，每组15人；情绪组（Mage = 24.3，SDage = 3.5）和非情绪组（Mage= 24.3，SDage = 8.2）

使用一组新的48个不定式动词（24个积极和24个消极），是实验1的同义词，并且在词长上与之匹配。

在当前的实验中，听觉词语和视觉目标之间的时间间隔是SOA。被试的主要任务与实验1相同，即尽快检测视觉目标的位置。为两组提供的不同指令。在情感组中，要求被试仔细听听觉刺激，判断动词的情感效价是消极还是积极，以便正确回答试验结束时的问题。在非情感组中，被试要确定单词的第一个字母是元音还是辅音，也要回答问题。问题随机分布在 25%的试验中，因此被试无法预测，没有反应时要求。有一个练习模块和六个实验模块。每个实验模块由96此试验组成，共576次试验，而练习模块有24次试验。实验持续了大约45-50分钟。

主要任务完成后，进行自由回忆任务。被试必须在5分钟内在一张纸上写出尽可能多的听觉刺激。然后，被试进行了识别任务。屏幕上随机显示96个不定、积极或消极的动词（48个“旧”和 48 个“新”，被试通过单击鼠标来判断该词是否在主要任务中被听到。没有时间限制。然后被试必须对他们的识别测试进行自定进度的自信判断。通过按从“0”到“10”的11个响应键中的一个，来表示自信程度。“10”表示他们完全确定自己的回答，而“0”表示他们完全不确定自己的回答。最后，进行48个听觉词的情绪效价评分任务。被试在9级评分量表上对单词的情感效价进行评分，从-4（非常消极）到+4（非常积极），零为中性。

实验2采用混合设计，包括被试间因素（情绪组与非情绪组）和被试内因素；词语的情绪效价（积极与消极）、视觉目标位置（向上与向下）和SOA（200 毫秒与400毫秒）。

被试回答问题的表现很好。情绪组和非情绪组没有差异；F < 1。

图3

对于主要任务，被试的正确率为97.6%。对于RT分析，只包括正确反应和超过200 ms的RT。与实验1一样，计算每个被试在每个条件下的RT中位数，进行 2 × (2 × 2 × 2) 混合方差分析，显示了三个被试内因素的主效应：积极听觉词 (429 ms) 的反应比消极词快 [432 ms; F(1,28) = 5.71,MSE = 102.06, p = 0.024, η2p = 0.17]，在SOA为400 ms时 (411 ms) 比SOA为 200 ms快 [449 ms;F(1,28) = 95.8] , MSE = 897.9, p < 0.001, η2p = 0.77]，并且视觉目标显示在上部位置 (419 ms) 比下部位置快[442 ms; F(1,28) = 11.54, MSE = 2809.7,p = 0.002, η2p = 0.29]。没有被试间因素的主效应。组别与情绪效价的交互作用显着[F(1,28) = 5.26,MSE = 537, p = 0.03, η2p = 0.21],表明在情绪组中积极词的加速反应是可靠的，但在非情绪组中不是这样。

就此项研究而言，关键的是组别、词的情感效价和视觉目标位置之间显着的三向交互作用 [F(1,28) = 4.4, MSE = 114.8,p = 0.045, η2p = 0.16]。使用 Bonferronicorrection比较表明，与消极词相比 (427 毫秒；p = 0.004) ，在积极词中情绪组更快地检测到目标在较高位置(417 毫秒)。非情绪组在这些条件之间没有差异（416 毫秒对 413 毫秒；p = 0.454）。在情感组（积极词：435；消极词：437 ms；p = 0.363）和非情感组（积极词：446；消极词：448）中都没有观察到情绪效价对较低位置反应的影响。

对准确率进行了相同的分析。2×(2 ×2 ×2) 混合方差分析仅揭示了视觉目标位置与SOA 之间的显着交互作用 [F(1,28) = 4.56, MSE < 0.001, p < 0.05, η2p = 0.14]。然而，Bonferroni比较没有表明任何显着影响（p > 0.05）。

情感组回忆起来的平均词数为11.94（SD = 4.11；范围 = 7-19），而非情感组为11.4（SD = 5.17；范围 = 4-22）。情感组正确回忆的平均单词数为 10.13（SD = 3.2），非情感组为 7.8（SD = 4.66）。平均而言，情绪组正确记住了所有单词的21.1% (SD = 6.7)；而非情绪组正确记住了16.25% (SD = 9.7)。方差分析没有观察到任何显著差异。

计算每个被试的单词识别率 (d)。将“旧”词视为目标，将“新”词视为干扰。d 介于1.18和2.54之间，平均值为1.65（SD = 0.19）。进行了以组别（情绪与非情绪）和d值作为因素的混合2×2方差分析，发现情感组的识别率(d = 2.02)高于非情感组（d = 1.43）。

为了分析被试识别自信度的数据，进行了以组别（情感与非情感）、情感效价（积极与消极）和词的类型（“新”与“旧”）的混合2×(2×2) ANOVA分析。观察到组别之间的显着差异 [F(1,25) = 6.5, MSE = 3.98, p < 0.05, η2p = 0.21]，情感组的信心更强。此外，对“旧”刺激的信心比“新”刺激的强[M = 6.80； SD = 1.25； F(1,25) = 41.3，MSE = 0.616，p < 0.001，η2p = 0.62]。没有发现积极词和消极词之间的差异，也没有发现其他交互作用（all F < 1.2）。

积极词的平均分为2.78（SD = 0.61），消极词的平均分为-2.61（SD = 0.67），有明显的差异。单样本t检验表明，积极词 [t(23) = 22.5, p < 0.001] 和消极词的评分都于0显著不同 [t(23) = −19.12,p < 0.001]。此外，消极和积极词的绝对值的单样本t检验不显着，t(23) = 0.88，p = 0.39。

结果表明（i）情感效价和垂直空间的跨模态关联是可能的，但（ii）这种具身关联不会自动激活，因为（iii）需要对情感效价词语进行显性评估，以观察情感概念和身体模拟空间的相互作用。