论文信息 ¶

Hasan, M., Rokhshana Nishat, A., Yasmin, S., & Pias, T. S. (2021). Fine-Grained Emotion Recognition from EEG Signal Using Fast Fourier Transformation and CNN. Paper presented at the 2021 Joint 10th International Conference on Informatics, Electronics & Vision (ICIEV) and 2021 5th International Conference on Imaging, Vision & Pattern Recognition (icIVPR).

论文原文 ¶

关键词 ¶

深度学习；CNN卷积网络

摘要 ¶

目前为止，有许多研究报道了不同情绪的大脑激活模式，但是大多数的研究只能使用二分类的技术把EEG记录的情绪分为4类，这显然是不够的。因此，作者设计了一种能够分64类情绪的复杂分类技术。使用卷积神经网络（CNN）对DEAP数据集进行处理，valence（警觉度）和arousal（唤醒度）这两种连续维度上，已经达到了96%的准确率。所有的模型都是通过1维的CNN来完成的。

引言 ¶

关于情绪的介绍这里就不多说了，反正就是情绪的外在表现是人为可以控制的，但是一些内部的信号却能够正确的反映情绪，例如EEG，体温、心电图等等。脑电图信号由以下子波段组成:Theta (3 - 7hz)、Alpha (8 - 13hz)、Beta (14 - 29hz)和Gamma (30 - 47hz)。单个子波与单个相关的身体活动相联系，例如，theta波与快速眼动睡眠、深度和原始情绪以及认知过程相关。 现在有许多研究都在利用机器学习来识别EEG的情绪状态。但机器学习需要研究人员手动提取特征，这很消耗时间。特征提取的方法也多种多样，包括了快速傅里叶变换FFT，短时傅里叶变换STFT，离散小波变换等方法最为有效。 用FFT分解EEG后，用深度学习模型应用于这些提取的特征，以便训练它们识别情绪，ML领域里，主要用支持向量机、线性和非线性回归、决策树等，而DL深度学习领域里，一般用的是CNN、LSTM长短期记忆模型等。该研究用的数据库是公开的脑电情绪数据库DEAP。大多数研究都是采用的二分类，把情绪分为效价和唤醒两个维度，从而构建了四种分类，但是为了更精确地识别情感，作者研究了64个情绪空间，其中存在许多现实生活中地情感。 文章的贡献主要是：1. 为情绪识别的二分类带来了最好的准确性，使用的FFT和1D的CNN模型。2. 提出了情绪的8类分类方法，总共就有8×8=64类情绪的分类（这个有点太没必要了吧。。。） 前人的研究这里也不再赘述了，反正就是使用了机器学习和深度学习的不同方法，哪些准确率如何。。。 DEAP数据集就包括了32个被试，采样率128Hz，每个被试佩戴40个点击的电极帽，看40个视频，给每个视频在四个维度上进行评分，因此每个人的数据就是40×40×8064个（8064=128×63秒），而标签就有40视频×4个评分维度个。 比较重要的问题：为什么不直接把每个采样点的信号扔进去？ 回答：如果使用从数据集中提取特征而不是原始数据集中提取特征，则可以获得更好的分类精度。Feature extraction可以最小化重要信号的丢失，降低过拟合的风险，提高数据的可视化，降低实现的复杂性。 因此先进行快速傅里叶变换，之后再把变换出来的值扔进去 整个CNN模型包括4个卷积层和3个线性层。如图，参数在GitHub上也有：