文献Oh Kruzic, C., Kruzic, D., Herrera, F., & Bailenson, J. (2020). Facial expressions contribute more than body movements to conversational outcomes in avatar-mediated virtual environments. Scientific Reports, 10(1). https://doi.org/10.1038/s41598-020-76672-4 论文原文

1.背景介绍 ¶

非言语线索通常被认为是交谈中社交信息的主要来源。尽管数十年来，社会科学家一直在研究手势，但是，只有少数大型样本研究可以详细地测量随时间变化的互动者的身体运动以及与各种交流结果的联系。Steuer将VR定义为“一个虚拟的环境，在该环境中，感知者可以体验远程呈现(telepresence)。”在这种定义下，VR包括沉浸式（immersive）和非沉浸式（non-immersive）体验，这些体验涉及有助于真实感和互动（这是远程呈现的两个核心维度）的技术。尽管对在VR中添加非语言线索有极大的兴趣，但对于在化身介导的（avatar-mediated）环境中合并非语言通道的影响知之甚少，尚不清楚是否结合其他非语言线索会线性改善沟通效果。了解面部表情和身体介导的环境中的身体运动的影响可以帮助我们进一步了解这些通道在FtF（面对面）语境中的重要性。 就行为现实主义和人际关系结果而言，现有文献对化身介导（avatar-mediated）的语境中非语言线索与人际关系结果之间的关系的看法不一，尚不确定行为现实主义的所谓好处（benefits）是否是由于增加了非语言线索或对非语言行为的感知所致，现有研究存在各种各样的局限。考虑到这些局限性，本研究试图通过采用具有时间限制的面向目标的任务，阐明面部表情和身体姿势对互动结果的独特影响（即人际吸引力（interpersonal attraction），社交存在感（social presence），情感效价（affective valence），印象准确度（impression accuracy））。本实验利用虚拟现实（VR）技术的巨大进步来跟踪和量化200多名被试彼此交谈并同时出现在虚拟化身中（embodied）的面部表情和身体动作，在实验控制与生态有效性之间取得了理想的平衡。

2.目的 ¶

探究在化身介导的虚拟环境中两个非语言通道（即面部和上身）的单独和联合作用；利用机器学习来探索非语言线索是否可以预测人际吸引力。

3.方法 ¶

本研究采用2身体姿势（存在与不存在）×2面部表情（存在与不存在）设计。将二元体（dyads）随机分配到四种条件之一，性别保持恒定。被试仅通过他们的化身进行互动，之前并未见过面或者进行过直接交流。四种条件如图1所示。

3.1被试： ¶

从佛斯学院，斯坦福大学招募的280名被试（140个二元体（dyads））。

3.2材料和仪器： ¶

一种无标记的跟踪设备（适用于Xbox的Microsof Kinect，带有适用于Windows的适配器）用于跟踪被试的身体姿势。Kinect跟踪的关节如图2所示。本研究使用了上半身的17个关节。使用Apple iPhone XS上的TrueDepth摄像头可以实时跟踪被试的面部表情。Discord是最常用的语音（VoIP）平台之一，用于口头交流。实验室结构如图3所示。

3.3过程： ¶

在研究之前被试分别单独来到两个位置，以防止他们看到彼此并产生互动，被是被随机分配到两个实验室之一（设置相同，如图三）。从五个维度（性格外向，友好，神经质，尽责，开放的态度）评估了他们的性格。告知被试将使用两个无标记跟踪系统来使被试及其伙伴通过化身介导的平台进行互动。要求被试站在61厘米×43厘米的垫子上，该垫子距Kinect 205厘米，距iPhone XS 20厘米，并确认电话没有妨碍他的视线，之后实验者打开化身介导的平台，并告知被试他将与伙伴完成两项互动任务，解决完被试所有问题之后实验者离开了实验室。 两个任务分别是：基于图像的任务（即视觉参考任务）是从汉考克和邓纳姆（Hancock and Dunham）改编的图形匹配任务，每个被试都被随机分配为“导演”或“匹配者”的角色，导演被要求用口头和非口头语言（例如，语调/语调，肢体语言，面部表情）描述一系列图像，要求匹配者从5个选项和一个“不存在的图像”选项的中识别正在描述的图像，并在选出其认为正确的选项后立即通知导演。完成之后切换角色，再进行一次相同的任务。如图5所示。基于单词的任务（即语义参考任务），是根据Honeycutt，Knapp和Powers中使用的“密码游戏”改编而成的猜词任务。每个被试都被随机分配为“线索提供者”或“猜测者”的角色，线索提供者被要求提供有关使用口头和非口头语言的一系列三十个单词的线索。要求猜测者猜测正在描述的单词。完成之后切换角色，再进行一次相同的任务。

4措施 ¶

4.1人际吸引力： ¶

基于麦克罗斯基和麦凯恩，衡量了人际吸引力的两个方面，即社会吸引力（social attraction）和任务吸引力（task attraction）。

4.2情感效价： ¶

通过从LIWC（语言查询字数分析，Linguistic Inquiry Word Count）分析产生的正面情绪词的百分比中减去负面情绪词的百分比来计算情感价，较高的值表示相对积极的情感的影响要大于负面情感的影响，最小值为-2.94，最大值为20。

4.3印象准确性： ¶

被试完成了简短的15项大型五项清单（Big Five Inventory，BFI-S）的自我和观察者版本。被试在15个与五个人格维度（即外向性，顺从性，尽责性，神经质和开放态度）相关的项目上对自己和伙伴进行了评分，值越大表示印象越准确。

4.4社会存在感： ¶

社会存在感是使用从社交意识网络存在度度量中选择的项目进行衡量的，较高的值表示较高的社会存在感。

4.5非语言行为： ¶

使用Microsof Kinect跟踪被试的身体运动。

.4.6身体运动的同步： ¶

身体运动的同步性被定义为两个被试的身体运动程度之间的相关性，相关性得分越高表明同步性越高。被试的同步得分是通过对互相关值进行平均来计算的。

4.7面部表情的同步： ¶

面部表情的同步性类似地定义为面部运动的时间序列之间的相关性。具体计算过程如图7所示。

4.8身体运动的程度： ¶

为了评估被试移动身体的程度，计算了整个交互过程中每个关节的第二欧氏（Euclidean）距离。

4.9面部运动的程度： ¶

为了评估互动过程中面部运动的程度，以30 Hz的频率对每个面部运动的置信度得分（即每个面部运动与中性点的偏差）进行采样并取平均值以形成单个综合得分。

4.10机器学习： ¶

机器学习（随机森林模型和MLP模型的定义是“可以自动检测数据模式，然后使用未发现的模式来预测未来数据或在不确定性下执行其他决策的一组方法”。为了使机器学习算法能够用作分类器，根据中位数拆分将被试分为高人际吸引人和低人际吸引人。然后，将数据集随机分为训练（70％）和测试数据集（30％）。

5.数据分析 ¶

多级分析“将不同级别的变量的影响合并到一个模型中，同时考虑了较高级别单位内观察之间的相互依赖性”。因为以前的研究发现，女性比男性拥有更高的社会存在感。这些研究相一致，相关分析显示性别与几个因变量相关。

6.结果 ¶

6.1人际吸引力： ¶

6.2情感效价： ¶

6.3印象准确性： ¶

6.4社会存在感： ¶

面部动作的可利用性或身体动作的可利用性都不会对社交活动产生显著影响。面部和身体运动之间的相互作用也没有显著影响。

6.5身体运动的程度： ¶

在面部表情也可见的情况下，可以看到其伙伴的身体运动的双体运动更多。

6.6面部运动程度： ¶

与身体动作相反，伙伴的面部动作的可见度不会影响二元组面部运动的程度。

6.7非语言同步： ¶

面部运动的可见性积极预测面部运动的同步性，身体运动的存在并不能预测面部同步性；脸与身体之间的相互作用也不显著；性别显著预测了面部同步性，女性的面部同步性高于男性。 与无法看见对方的二元组相比，能够看到对方身体运动的二元组的身体同步水平略高。

6.8机器学习： ¶

两种分类器都能够以比偶然性更高的准确率来预测人际交往的吸引力，这表明自动检测到的非语言暗示可以用来推断人际交往的态度。随机森林模型的交叉验证准确性达到67.33％（SD = 8.28％）和测试准确性为65.28％; MLP模型的交叉验证准确度为68.67％（SD = 5.63％），测试准确度为65.28％（多数类基线：51.39％）。

7.结论 ¶

本研究旨在了解面部和身体提示对沟通结果的单独和联合影响。与基于行为现实主义的假设相反，仅包含身体手势并没有对人际吸引力，社交存在，情感价和印象形成产生重大影响。此外，当无法获得面部提示时，LIWC数据表明，与没有姿势相比，被试在有姿势时会感到更加积极。 这些结果与没有支持这样的推测的研究相一致，即，化身运动会增加社会影响力或改善人际交往。同时，它们似乎与先前的研究和理论相矛盾，这表明额外的社会线索和/或社会现实主义导致更高水平的社会存在和更积极的沟通成果。与包括身体姿势的无效效应相反，本研究发现证据表明面部表情的存在可以适度改善跨多个维度的交流结果，包括人际吸引力，情感效价和印象准确度。 身体姿势对人际交往的无效作用至少可以部分由以下机制解释。首先，被试可能已经能够用其他提示来弥补身体线索的缺失；其次，在本研究的背景下，身体运动可能不如面部运动和言语重要。