我院脑机交互与混合智能研究团队研究生梁容铭等在中科院一区期刊IEEE Journal of Biomedical and Health Informatics发表研究成果

近日，我院脑机交互与混合智能研究团队研究生梁容铭、何志鹏等在潘家辉教授和李景聪副教授的指导下，在SCI期刊IEEE Journal of Biomedical and Health Informatics（中科院一区Top，影响因子: 7.7）发表研究成果“ST-SCGNN: A Spatio-Temporal Self-Constructing Graph Neural Network for Cross-Subject EEG-Based Emotion Recognition and Consciousness Detection”。本论文于2022年10月14日投稿，2023年11月18日接收。

意识障碍（DOC）患者的意识检测一直是国内外医学界的一个难题，即使由专业医生进行意识诊断，微意识状态（MCS）和无反应觉醒综合征（UWS）的误诊率也达到40%左右。因为DOC患者的临床诊断主要依赖于行为观察，而这些患者因为脑部损伤而使得其行为能力缺失。基于此，作者用基于情感脑机接口的脑电信号来辅助评估意识障碍患者的意识水平。

脑电信号（EEG）具有很强的个体差异性，在不同受试者之间往往训练和测试往往很难取得比较满意的成绩。图神经网络能比较好地表示EEG的大脑结构，然而，传统图神经网络模型依赖于预定义的大脑拓扑，不能很好地表示情绪变化期间大脑结构的复杂性。作者通过动态学习图结构的拓扑关系，更好地表示大脑在情绪变化时的复杂性。基于EEG原始信号通过功率谱密度等激活模式提取的信号可能会丢失一些EEG原始信息所具有的脑网络关系，因此，作者通过结合激活模式与脑网络连接模式两种特征，尽可能保留更多地EEG信号所具有的情绪变化时的特征。模型总体流程图如图1所示。

图1：模型总体架构图

本研究成果的贡献总结如下：

1）作者结合使用反映时空信息的连接模式特征和激活模式特征，研究的模型可以获得更多互补的情感相关信息，从而提高跨被试情感识别的性能。

2）为了克服传统图形神经网络不能正确模拟不同情绪下动态大脑网络的局限性，作者开发了一种设计良好的时空自构建图形神经网络，以跨被试动态学习更具代表性的时空特征。

3）这项研究代表了首次尝试验证在健康受试者中训练模型同时在DOC患者中测试它的跨被试方法。大量的实验结果表明，提出的模型可以成功地捕获8名DOC患者中的2名患者的情绪相关意识。

本研究受科技创新2030-“脑科学与类脑研究”重点项目“面向运动和意识障碍康复的双向-闭环脑机接口”以及国家自然科学基金面上项目“面向意识障碍患者的脑机接口意识检测技术及其临床应用”资助，与广东省工伤康复医院颅脑损伤科共同合作完成。

撰稿：梁容铭

审稿：潘家辉