文献:Baldassarri, S., Passerino, L., Ramis, S., Riquelme, I., & Perales, F. J. (2020). Toward emotional interactive videogames for children with autism spectrum disorder. Universal Access in the Information Society. https://doi.org/10.1007/s10209-020-00725-8

1.背景介绍 ¶

注意和沟通能力从儿童早期就紧密相连。就ASD儿童而言，他们面临着共同关注和凝视的严重问题。儿童的大脑仍在发育中，与成年人相比，提高他们的社交和沟通能力的机会更大。游戏和视频游戏将抽象思维与具体经验联系在一起，已被揭示为刺激不同认知过程的自然情境。儿童在幼儿时期就从世界，尤其是从游戏中获得知识，游戏与发展之间的关系不是直接的关系，而是由行动、注意力、认知和情感过程所介导的关系。在游戏中，孩子创造出一种涉及情绪和认知方面的假想情况。游戏/视频游戏创建了一个最近发展区（zone of proximal development），在想象的领域中发挥作用，在该领域中的意图、动机、注意力、计划以及其他认知过程将孩子带入更高的发展水平。由于多感官刺激（multi-sensory stimuli）的本质和数字技术的多模态性（multimodality），在针对ASD或一般感觉处理障碍(SPD，sensory processing disorders)的严肃游戏（SG，Serious Games）中，可以将视觉、听觉和前庭结合起来。尽管桌面和视频游戏已被广泛用于改善ASD儿童的学习，但尚无针对于这些接口的沟通过程如何影响构成认知计划的注意力、记忆力、连续和同步过程的研究。在本研究中，作者提出了一个互动的严肃游戏，以增强自闭症儿童沟通的可懂度（intelligibility）。

2.研究 ¶

2.1案例研究1：情绪训练师（trainer）和3D严肃游戏 ¶

通过使用检测孩子情绪的严肃视频游戏来衡量孩子的注意力、集中力和满意度。第一个是“情感训练师（trainer）”，让学生学习七种基本情绪，第二个是一款严肃的游戏，在游戏过程中引起反应并捕获玩家的面部表情（“情绪探测器”）。为了了解不同孩子的需求，第一个游戏开发了10个难度级别，第二个游戏则设置了20个难度级别。

2.1.1方法： ¶

实验的第一阶段是情绪训练师，以评估ASD儿童的不同情绪。它是一个互动式应用程序，可以确定孩子能够表达的情绪。指令是模仿随机显示在计算机屏幕上的七种情绪（有无镜像）。第二阶段是3D迷宫电子游戏，它会根据玩家面对的刺激而引起玩家的反应。它由20个级别组成，具有唯一的（unique）出口和几个死点。分析所记录的情绪表情和游戏注意力的其他参数，例如执行时间、行进距离、碰撞次数等，以评估游戏过程中注意力的保持。

2.1.2被试： ¶

对照组4人（5-10岁，3名女生和1名男生）；ASD组5人（14-18岁，1名女生和4名男生）。

2.1.3工具： ¶

情绪匹配任务：分别检查情绪表达识别、言语情绪识别和情绪状况知识。情绪调节检查表(ERC，Emotion Regulation Checklist)：检查情绪和情绪调节以及情绪表达的合理性。由儿童家长填写；儿童行为清单(CBCL，Child Behavior Checklist)：儿童的多相人格清单，它将行为问题分类为两个主要类别：外向和内向。由儿童父母借填写。

2.1.4课程（session） ¶

每次课程（session）包括两个阶段。第一阶段，进行情绪训练。第一轮儿童必须模仿屏幕上显示的照片，可以看到自己的镜像；第二轮继续模仿表情，但看不到自己。每轮每个表情随机呈现四次，最终结果又56张照片组成。

3D迷宫，根据用户面临的不同刺激（硬币为正数，炸弹为负数）对用户产生反应。为了捕捉情绪，已经设计了用户产生情绪的关键点（见图2）：消极关键点（Negative critical point）：迷宫中通往死胡同的所有道路；未能在有限时间内到达目的地；收集到炸弹。积极关键点：迷宫中所有装有硬币的道路；到达出口。中立关键点：没有任何刺激情况下的所有道路。从刺激和游戏参数引起的结果中测试注意力和集中力，如碰撞次数、每级消耗的时间和道路长度。

2.1.5结果 ¶

情绪训练师结果表明：ASD儿童在看到自己的表情时更擅长模仿表情，通常他们的表情非常一致；这组ASD儿童可以更容易再现的表情是快乐、恐惧和惊讶；大多数孩子不懂中立的表情，很难再现悲伤的表情。关于游戏注意力，所有被试在玩时都表现出很高的专注度。ASD儿童在游戏过程中没有考虑到碰撞，从而使他们完成游戏的用时更短；ASD儿童在迷宫游戏开始前没有计划路线，而是在游戏时调整路线。

2.2.案例研究2：有形互动桌面（tangible interactive tabletop） ¶

对于ASD学生，使用一个有形的互动式桌面来分析通过这些界面进行的交流过程如何影响注意力，记忆力，连续和同时的（simultaneous）过程，这些过程构成了PASS模型的认知计划。

2.2.1.方法 ¶

为了使用有形的互动式桌面实施认知计划建议，为桌面NIKVision开发了一个名为“ Hugh and the Can”的程序。NIKVision是一种桌面，其中互动是通过在桌面上对常规对象和玩具进行物理操纵来进行的。使用真实的物体和小型玩具与游戏进行互动。这些对象具有双重功能：它们的操纵允许在“ Hugh and the Can”程序中生成事件和动作，同时，使学生能够通过不同的感官以3D形式对这些对象的表示进行实验。

程序的情节提要：男生角色Hugh，访问一些地方，并从这些地方的罐子中取出物品。程序难度分为三个级别：发现罐子中的物品；物品的用途；Hugh在访问的地方可以做的事情。

每个屏幕（见图5）被划分为不同难度级别，并以音频，象形图和文本形式提供反馈，以评估参与学生的认知多样性。

所使用的物品举例。

##2.2.2被试： ¶

13名学生（10-16岁；ASD7名，3名女生，4名男生）。

##2.2.3工具： ¶

收集学生初始资料。沟通矩阵（Communication Matrix）：确定沟通和口头技能的意向性水平。适应性ND-CAS测试：是针对智力障碍和沟通障碍儿童的测试，包括象形文字。任务最初是作为书面测试制定的，随后在名为“ Hugh and the Can”的有形互动程序中进行，以促进ASD儿童的协调和互动过程。观察并记录被试的表现。

2.2.4过程（session）： ¶

第一阶段旨在识别学生的交流和互动特征；第二阶段的重点是准备编程在互动式桌面上的认知任务，包括对一组10个认知任务进行编程，其中6个旨在改善连续处理，4个同时进行。这些任务分为全局任务（不需要阅读）和桥接任务（需要识字能力）。

第三阶段是使用互动式桌面上的应用程序对孩子进行的实际干预。

2.2.5结果： ¶

重点报告与所应用的方法有关的结果以及与注意和互动过程有关的结果。在大多数情况下，注意力的增加；研究表明，选择性注意力比持续注意力的发展较弱，因为选择性注意力要求学生仅专注于一两个刺激。就像在患有ASD的儿童中所预期的那样，在许多情况下，过度的刺激几乎没有引起选择性注意的支持。尽管注意力得到了显著改善，但并没有直接影响到同时处理（只有57％的学生有所改善），因为（a）它不是该过程涉及的唯一认知过程（例如，记忆是另一个过程），（b）沟通问题对这类处理的影响，以及（c）理解对象之间的语义关系，分类关系，顺序关系和从属关系，这会影响符号化和计划。

3.总结 ¶

本文提出的第一项研究的目标是能够模仿情绪并解决没有语义背景的迷宫。第二项研究从接近用户的语义上下文中组织了所有动作。研究二提供的注意力结果与第一项研究相一致，并且补充了这一结果，表明注意力可以是接受性的或选择性的。在第一个案例研究中，接受注意力是其分析重点。在第二种情况下，两者都有助于解释和理解如何通过电子游戏进行开发。第一个案例研究的重点是每个学生的表现和他/她的情绪，而第二个案例则建议在不考虑情绪的情况下进行个人和小组干预。在这方面，第二项研究表明，尽管没有考虑第一工作室的基本情感，但仍可以从有形的桌面上进行社交互动。结果（不是确定的）表明，患有自闭症的孩子并没有调节他们的行为以协同工作，而是执行了老师协调的与转身互换有关的个别任务。因此，能够在合作游戏中检测到情绪将有助于调解。而且，不仅在同感游戏角色方面而且在与同伴的共情中，能够检测合作游戏中的情绪，可以帮助游戏提出技术上的调解，以确保转变，互动和协作学习。