我院脑机交互与混合智能团队研究生以第一作者在SCI期刊Applied Intelligence发表学术论文

近日，华南师范大学软件学院脑机交互与混合智能团队研究生廖嘉城在梁艳（通讯作者）、潘家辉老师的共同指导下，以第一作者在SCI学术期刊Applied Intelligence发表论文《Deep facial spatiotemporal network for engagement prediction in online learning》，论文作者为：廖嘉城、梁艳、潘家辉。其中，Applied Intelligence为中科院3区SCI学术期刊（IF: 3.325），属于“计算机科学”学科，出版社为Springer 。

图1 论文截图

近年来，在线教育逐渐被大众所接受和认可。在这种大背景下，有效的学生专注度预测方法能够帮助老师及时从课堂中获取反馈，并根据学生的接收能力做适应性调整。本文提出基于人脸的深度时空网络（Deep Facial Spatiotemporal Network，DFSTN）用于专注度预测。该网络主要由两个核心单元组成：（1）用于提取人脸空间特征的SE-ResNet-50 网络，以及（2）用于提取人脸时间特征的含全局注意力机制的长短期记忆网络（LSTM Network with Global Attention）。网络的训练策略会根据所做任务评价指标的不同做相应的调整。本文提出的DFSTN能捕捉人脸序列的时空信息，从而更好地感知更细微的专注状态变化，并提升专注度预测的效果。本文的方法在DAiSEE数据集上进行了验证，在四分类问题上取得了58.84%的准确率，在回归问题上的均方误差为0.422，专注度预测效果优于许多现有的工作。此外，在EmotiW-EP数据集上的测试结果也验证了本文所提方法的鲁棒性。

图2 DFSTN模型框架

文章网络首发地址：http://link.springer.com/article/10.1007/s10489-020-02139-8

撰稿：廖嘉城，梁艳

审稿：潘家辉