我院本科生以第一作者在SCI期刊《Frontiers in Human Neuroscience》发表研究论文

近日，华南师范大学软件学院软件工程专业本科生李瑞新、刘晓剑、王冰冰、黄文鑫和蔡兆信，在潘家辉（通讯作者）、梁艳、邱丽娜老师的共同指导下，以第一作者在SCI期刊Frontiers in Human Neuroscience上发表研究成果《MindLink-Eumpy: An Open-Source Python Toolbox for Multimodal Emotion Recognition》。该论文于2020年10月投稿，2021年2月被录用并在线发表。其中，Frontiers in Human Neuroscience是中科院3区的SCI学术期刊（IF: 2.673），属于“神经科学”学科。

情绪（Emotion）是人对客观事物的态度体验和相应的行为反映，是一种由感觉、思想与行为综合而成的复杂的心理和生理状态，它与大脑许多内部和外部活动相关联，在生活中的各个方面都起重要作用。本文提出一款多模态情绪识别开源工具箱MindLink-Eumpy，用于使用人脸图像和脑电信号进行情绪识别。在人脸图像处理方面，MindLink-Eumpy能够利用迁移学习技术训练卷积神经网络以识别人脸表情；在脑电信号处理方面，MindLink-Eumpy能够对脑电信号进行处理，并提取特征值，再利用SVM进行情绪分类。本文还提出一种基于长短时记忆网络识别情绪的方法，利用长短时记忆网络对处理后的脑电信息进行情绪识别，能够初步达到一定程度上的跨被试情绪识别效果。本文从效价（valence）和唤醒度（arousal）两个维度对情绪进行高（high）和低（low）的二分类。国际公共数据集DEAP和MAHNOB-HCI的相关实验表明，情绪识别准确率在效价维度能够达到78.56%，在唤醒度维度能够达到77.22%，证明了本文方法的有效性和可用性。此外，MindLink-Eumpy工具箱能提供人脸图像和脑电信号两个模态的范式扩展、数据处理、情绪识别和数据融合等功能，并提供一系列可扩展的可视化操作，填补了现有国产情绪识别开源工具箱的空白。

论文《MindLink-Eumpy: An Open-Source Python Toolbox for Multimodal Emotion Recognition》的下载地址如下：https://www.frontiersin.org/articles/10.3389/fnhum.2021.621493/full

撰稿：李瑞新  梁艳

审稿：潘家辉