一、文献名称 ¶

Melhart, D., Yannakakis, G. N., & Liapis, A. (2020). I Feel I Feel You: A Theory of Mind Experiment in Games. KI - Künstliche Intelligenz, 34 (1), 45–55. http://doi.org/10.1007/s13218-020-00641-2 论文原文

二、研究背景 ¶

​ 理解我们是如何识别和感受人工模拟的情感行为，这对于设计现代的、叙事重的AAA级游戏中可信的角色以及情感建模和情感计算的研究至关重要。可以说，要弄清楚我们对其他行为者的感受通常是非常复杂的，同样的，根据ToM理论，我们如何表征他人的情绪和认知模式也是未知的。文章实验的关注焦点在挫折感：它是人机交互与情境相关的情感结果之一。

三、研究过程 ¶

研究目的：1）调查玩法的背景、玩家情绪和基于行为的agent感知挫折的一阶表征之间的关系。

2）探索处理自我报告的ToM的不同方式。

a、理论背景 ¶

1.心理和情感理论ToM ¶

ToM是高级心理模型。传统观点关注认知过程，但最近延伸到了情感层面，也是最近才被应用于游戏设计和游戏用户研究中。该文章探讨了人类ToM在与游戏代理互动是的认知和情感表现。采取Damasio的somatic marker假说。

2、计算机挫折理论（computer frustration theory) ¶

挫败感是人机交互过程中最常见的复杂情感反应之一，有独特的认知和行为模式。本文采用Refs的计算机挫折理论原则。认为它在情绪前评估中有作用。文章将专注于挫折的短期影响和功能。

由图1看出，并非所有令人沮丧的事件都对一个人的表现有害。相反，根据耶克斯-多德森定律的Hebbian解释，计算机挫折在唤醒水平和表现之间设定了一个钟形(bell-curve-like)曲线函数

b、材料 ¶

1、迷宫游戏 ¶

开发了一款自上而下的2D的射击游戏，在游戏中玩家和人工agent进行竞争。被试通过攻击agent而避免它得分。游戏持续一分钟。

1）Player’s Mechanics：玩家使用方向键和鼠标在2D迷宫中移动(从自上而下的角度来看)。它们的移动速度高于agent的基本速度，这让玩家在大多数情况下都占据上风。它们还可以每2秒使用一个短冲刺能力，玩家通过两种攻击模式(a)按住鼠标左键连续快速发射最多5枚炮弹，(b)用鼠标右键投掷炸弹而获得分数。炸弹落地后会在5秒内起火。而用火会对玩家和agent都造成伤害，通常不鼓励用火。两种攻击都会在短时间内恢复。如果agent死亡，玩家将获得额外分数。如图2所示，玩家角色的视野主要以他们面前的圆锥形照亮地图，但也有较小范围(包括角色背后)。

2)Agent’s Mechanics：agent执行一种基本的搜索行为，在地图上近似随机地漫游。在每个搜索循环的最后，它会选择一个随机的点并到达那里，避开玩家点燃的火焰。如果agent察觉到玩家，它就会开始追逐。为了感知玩家，agent拥有两个不同的传感器，模拟视觉和听觉。视觉传感器有一个初始角度135◦和10米半径。听觉会影响agent周围的区域，并且最初探测到玩家的概率很低。如果玩家站在传感器的范围内，agent的听觉系统会逐渐察觉，并每秒钟检查一次玩家。隔墙将听觉探测的机会减少了一半。agent站在火场中，每次被子弹击中都会受到伤害。代agent有许多生命值，但它们不会随着时间的推移而得到补充。

2、agent的挫折模型 ¶

提高玩家打到agent的难度来提升玩家的挫折感。

观察agent挫折感的几种方式：

1：感觉系统的挫败感：减少视角，可以看得更远并增加发现玩家的机会。随着挫败感的增加，agent的听觉传感器的区域会变小，但听到玩家声音的可能性会增加。

2：在基本水平上的运动：挫折感的上升会增加agent的速度，但在高挫折感时，它会产生不稳定的运动，同时精度下降。

3：决策制定：一般来说，当agent受挫时，他会选择更危险的路径去达到他的目标。挫败感会使agent的行为变得更加鲁莽。

行为结果：设计挫折模型来反映Ref的结果。当挫折感上升时，系统会产生明显的挫折感行为，包括匆忙的动作、鲁莽的行为和周边感觉的丧失。

c、过程 ¶

1、每个参与者都从教程关卡开始熟悉游戏机制。在此之后，参与者将在4个游戏回合中与agent对抗。在这4个游戏回合中，我们记录了许多游戏参数和玩家面部特征，用于捕捉游戏过程中的情绪表现。

玩家被要求解释agent受挫的一阶表现——即。他们觉得agent有多沮丧。

RankTrace工具，用于无界(unbounced)连续的注释

每个游戏过程中会提取了30个特征，这些特征测量了agent的位置、动觉和感觉属性以及内部状态。还考虑了玩家的位置和行动，以及玩家和agent之间的互动(如玩家和代理之间的距离)。

2、面部表情识别

ToM在游戏过程中的情绪表现是基于面部表情识别和处理。通过Affdex SDK提取面部特征。从游戏过程中捕捉到的面部数据中，总共提取了23个特征，并以0(无表情)到100(夸张显示)的尺度表示每个表情的强度值。

四、数据分析 ¶

1、数据格式和预处理 ¶

通过滑动窗口方法处理来自80个游戏回合的数据。在这一过程中，游戏玩法被分割成不重叠的等长窗口，并在每个窗口中计算每个功能的平均值和值范围。时间窗口之间的数值范围顺序关系可以直观地反映游戏玩法参数或面部表情。

采用相关分析。

基于偏好的ToM模型：在本文中，用偏好学习（PL）来区分我们的算法和回归分类算法。同时采用SVM(support vector machines)来完成这项任务。最终有20名被试的数据被采纳(16名男性，4名女性)，收集他们的游戏玩法、面部表情和注释数据。平均年龄为30，研究生学位，都有经验，其中一半人每天都在玩游戏。

五、实验结果 ¶

表1显示了agent的annotated frustration、agent和玩家的游戏功能、互动以及面部检测估计的情绪之间的肯德尔相关值。

相关性最高的是玩家的得分。同样明显的是，捕捉到的面部特征包括六种基本情绪的表情和蔑视，当数据被处理为 ̂μ时，相关性甚至更弱，而当数据被处理为μa时，没有显著的关联。由于个体挫败感的注释与情感标记的显著相关性较小，但与情境玩法信息的显著相关性较大，因此我们可以得出结论，在实验中，个体挫败感的一阶表征主要是一个认知过程。

虽然传统的相关分析可以指出哪些个体特征是玩家ToM的良好预测因素，但它无法测试这些特征在线性或非线性组合时的表现。因此我们采用PL方法来处理输入和输出。

图5显示了采用径向基函数核的线性SVMs和非线性SVMs的十倍交叉验证精度。

图5表示线性SVMs和非线性SVMs的表现均低于基线的10%,例外的是μa→μa，根据游戏功能，这一比例平均达到67.5%。根据所有功能，这一比例平均达到66.4%。

这表明agent的一阶表征主要依赖于对可观察信息的认知理解，没有太多的情绪反馈。

六、讨论与其他 ¶

结果表明，玩家对agent挫折的评价最显著的相关性是游戏环境，即玩家和agent双方的表现和互动。同时，开发和维护ToM的过程主要依赖于对游戏玩法背景的理解，与玩家情绪的可见迹象没有很强的单调相关性。

agent的挫折模型是临时的，以后可以研究更流畅更具表现力的游戏玩法。同时比较依赖面部情绪识别，缺少玩家自身情感状态的基础真相。未来可以探索在不增加注释任务难度的情况下收集玩家情绪状态的ground truth数据的方法。

另外，研究只专注于游戏玩法参数和面部特征，可以探索数据收集的其他模式，如心率变异性和皮肤电活动等。