我院2019级研究生何志鹏等在SCI期刊Brain Sciences发表综述长文

近日，我院2019级研究生何志鹏等在潘家辉副教授的指导下，在 SCI期刊Brain Sciences(影响因子：3.332，JCR: Q2，大类：神经科学) 发表综述长文《Advances in Multimodal Emotion Recognition Based on Brain–Computer Interfaces》。论文作者包括有：何志鹏、李自娜、杨富宙、王磊、李景聪、周成菊、潘家辉（通讯作者）。

图1  论文截图

图2  基于脑电的多模态脑机接口情感识别流程图

本论文的研究成果主要来源于脑机交互与混合智能团队项目广东省自然科学基金面上项目“基于多模态脑机接口的情绪识别及其在意识障碍患者中的应用研究” 、广州市重点领域研发计划“面向意识障碍患者的脑机接口技术及其临床应用”以及何志鹏同学研究生期间的研究生创新创业训练计划项目“基于脑电信号和眼动信号的情绪识别研究与应用”。

本文是情绪识别领域第一篇从多模态脑机接口角度探讨情绪识别的分析性综述长文（30页）。文章的主要贡献如下3个方面：

 1、本文扩展了现有多模态情感脑机接口的定义，首次归纳了三种主要类型的多模态情感脑机接口：基于行为模态和大脑信号融合情感脑机接口、基于混合神经生理模态的情感脑机接口、基于异质感官刺激的情感脑机接口。

 2、对于每种类型的情感脑机接口，我们系统回顾了代表性的脑机接口系统，并分析了每个系统的设计原理、刺激范式、融合方法、实验结果和特色优势等。我们发现，基于多模态脑机接口的情绪识别模型比基于单模态脑机接口的模型有着更好的性能。

（a）                        (b)

（c）                      （d）

图3 （a）基于表情的情绪识别过程；（b）与情绪相关的眼动特征概述；

（c）从不同生理信号中提取的各种情绪特征；

（d）通过脑电图、fNIRS和fMRI等多种脑电信号测量大脑情感变化活动。

 3、我们讨论了当前情感脑机接口的学术研究和工程应用中面临的挑战，并提供了相关的策略和潜在的机遇。

图4  基于多模态脑机接口情感识别的机遇与挑战

文章下载地址:  https://www.mdpi.com/2076-3425/10/10/687/pdf

撰稿：何志鹏

审稿：潘家辉 邱双惠