文献:Jiang, M. , Francis, S. M. , Tseng, A. , Srishyla, D. , & Jacob, S. (2020). Predicting core characteristics of ASD through facial emotion recognition and eye tracking in youth.2020 42nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) in conjunction with the 43rd Annual Conference of the Canadian Medical and Biological Engineering Society. IEEE. 论文原文

1.背景介绍 ¶

自闭症谱系障碍（ASD）是一种复杂的异质性神经发育障碍（neurodevelopmental disorder，NDD），在儿童早期出现。使用眼动追踪（eye tracking，ET）技术来追踪和分析视觉注视模式已经提高了我们对社会信息处理基础机制及其在ASD中的意义的理解。研究表明，ASD和TD成年人之间在情绪识别任务上的准确性没有差异，但他们的信息获取过程存在显著差异。ASD中RRB（restricted, repetitive, and stereotyped）的核心特征在社会认知中也起着关键作用，研究表明，局限性和高度集中的兴趣是RRB中的关键组成部分，需要更多的研究来理解RRB在社会环境的视觉探索中的作用。本研究将任务表现和ET数据相结合在面部表情识别范式下，开发了一个随机森林回归算法来预测评估TD被试和NDD个体的社会反应能力和RRB的评估得分。纳入了ASD和ADHD被试，以深入了解情绪识别过程背后的神经心理内表型的异同。

2.方法 ¶

2.1被试： ¶

24名NDD（F：5; 12.13±2.35岁; ASD：n = 13; ASD + ADHD：n = 8; ADHD：n = 3）；36 名TD（F：13； 12.50±2.37岁）。

2.2任务和评估方法： ¶

使用修订的动态情感识别评估（Dynamic Affect Recognition Evaluation，DARE）任务，DARE任务使用来自Cohn-Kanade动作单元-编码的面部表情（Action Unit-Coded Facial Expression）数据库的图像来创建一系列从中性变为六种情绪之一的脸部序列（参见图1）。被试从六种基本情绪中选择一个目标表情。社会回应量表2（SRS-2）是65项李克特量表的父母报告调查表，用于测量相互的社交行为，分数越高，反映出社交缺陷越严重。重复行为量表修订版（RBS-R）是一项43项李克特量表的父母报告调查表，用于衡量ASD中RRB的存在和严重性。

2.3眼动数据采集过程： ¶

使用两个利用Tobii Studio（版本3.3.2；Tobii，斯德哥尔摩，瑞典）的采集系统来跨两个采集站点采集ET数据。在Tobii Pro TX300上采集了ET数据（采样率：300 Hz），用于24位有诊断的个体和10位TD被试，其余的ET数据（26个人）是在Tobii X2-60上采集的（采样率：60 Hz）。使用标准的9点网格来校准两个系统，所有分析被试的校准误差沿x轴或y轴均小于0.5°。

3.用机器学习预测评估分数 ¶

分析着重于特征与ASD特质评估之间的相关性分析，该评估在所有被试组中持续分布，根据观察结果进一步开发了回归模型，以预测评估结果。

图2给出了三种基本行为量度的统计数据：响应时间（RT），正确率（Correct％）和注视次数（N.注视）。情绪识别的准确性与任何一项评估均无显著相关性；注视次数也与评估结果无关。还观察到了眼睛注视的空间分布差异，ASD被试在背景上具有更高的注视密度，并且对眼睛区域的凝视减少。应用了留一法交叉验证来训练和评估回归器，在每次运行中，将一名被试的数据作为测试数据，其余的用于训练，测试结果是同一被试所有试验的平均值。

4.结果 ¶

图3显示了SRS-2总得分的高预测准确性，在社会认知、社交动机、社交沟通和RRB子量表中也发现了较高的预测准确性。模型预测ASD和ASD + ADHD被试的SRS-2得分较高，而TD对照组的得分较低。

对于RBS-R预测（请参见图4），相比于观察到的RBS-R评估，预测分数在区分ASD与TD对照组方面表现更好。

为了测试回归模型如何有益于ASD诊断，进行了ROC分析并计算了所提出方法的ROC曲线下面积（AUC），并将其与两次评估进行了比较。图5显示了DARE ET任务和ASD评估之间可比的AUC分数，这表明即使没有诊断标签的监督，根据被试在DARE任务中的表现数据和注视次数也可以做出很好的分类。

5.总结 ¶

本研究基于情绪识别任务的特征建立了一个模型，以预测评估ASD两项核心特征的评估得分：由SRS-2衡量的社交障碍和由RBS-衡量的RRB- R.。模型很好地预测了SRS-2和RBS-R总分。结果证明了评估分数与围绕社交认知任务构建的模型之间的密切关系与先前的研究非常吻合。