脑机团队叶耀光等在中科院二区SCI期刊Applied Intelligence发表研究成果

我院“脑机交互与混合智能”研究团队叶耀光、梁艳、潘家辉（通讯作者）在SCI期刊Applied Intelligence（大类学科：计算机科学、影响因子：5.086、中科院SCI二区、JCR：Q1）发表研究论文——《A Cascaded Spatiotemporal Attention Network for Dynamic Facial Expression Recognition》，并于2022年6月23日在线发表，发表网址为：

https://link.springer.com/article/10.1007/s10489-022-03781-0。

该论文的主要工作为：

动态人脸表情识别任务需要关注人脸表情呈现过程中的动态变化模式，其在特征维度上的处理比静态人脸表情识别任务更加复杂，需要进一步深化时空特征提取方法，优化特征质量，挖掘判别性时空特征，以提高动态人脸表情识别的性能。本文提出了一种级联时空注意网络，其以空间特征提取器和时间特征提取器级联处理为架构，学习和整合面部表情变化过程中的空间和时间情感信息。为了加强网络对于关键区域、特征图和时间点的关注能力，本文在网络的两个特征提取器中嵌入了三种类型的注意块，使其能够在不同维度上基于动态人脸表情识别任务提取关键时空特征。此外，考虑到表情呈现过程中时间上下文存在较强的联系性，为了更进一步地深化网络的时序表征能力，本文基于时间自注意全局表征和当前时间点的时序情感表征，计算粒度更小的时间关系注意表征，进一步挖掘上下文情绪信息交互，所计算的情绪强度值的变化更加平滑，符合人脸表情的变化趋势。本文所提出的方法在CK+、Oulu-CASIA和LIRIS-CSE三个公开人脸表情识别数据集上和同行进行了对比实验，实验结果表明，该方法能够有效提取判别性时空特征，具有良好的动态人脸表情识别性能；多维注意力机制存在一定的互补性，能有效定位关键空间区域和关键时间点。

撰稿：叶耀光

审稿：潘家辉