我院脑机团队蔡旭刚等的研究成果被IEEE Transactions on Instrumentation and Measurement录用

近日，脑机团队成员蔡旭刚、莫丹颖、余杨祖怡在潘家辉教授的指导下，在SCI期刊IEEE Transactions on Instrumentation and Measurement（影响因子: 5.6, 中科院二区）发表研究成果“Residual Attention Capsule Network for Multimodal EEG- and EOG-based Driver Vigilance Estimation”。本论文于2023年1月3日投稿，2023年8月17日录用。

驾驶员警惕性评估对于减少疲劳导致交通事故至关重要。尽管之前的驾驶员警惕性估计算法已经取得了较高的评估性能，但仍然存在一些挑战：1）如何有效利用多模态脑电（EEG，electroencephalography）和眼电（EOG，electrooculogram）信号仍然具有挑战性。2）如何更有效地捕获信号中局部到整体空间中的矢量特征信息。3）如何增强网络的深度挖掘特征能力，尽可能消除冗余信息。

为了解决上述问题，我们提出了一种基于多模态脑电的残差注意力胶囊网络（Res-att-capsnet），该网络在驾驶员警惕性评估的分类与回归任务中都有良好的性能。具体来说，我们在本文中的贡献可以总结如下。

1）我们建议脑电和眼电的多模态输入形成信号补充信息。我们提取功率密度谱（power spectral density）和微分熵（DE，differential entropy）融合特征来表征疲劳状态下的信号能量分布和信号变化。以适配胶囊注意机制和残差通道注意块学习到更好的特征表征，形成多模态时频拓扑特征。

2）我们提出了一个残差注意力块来优化低级胶囊的通道空间特征，以自适应地重新缩放每个通道的特征，融合PSD与DE特征通道之间的相互依赖性。该网络更加关注有效通道信息，增强表示学习能力，为高级胶囊提供有效贡献。

3）我们提出了一种基于胶囊网络应用于驾驶员警惕性估计。这将填补驾驶员警惕性估计方面的研究空白，并且基于向量表示的迭代路由机制将提高相关方法的泛化性和鲁棒性。

图1：Res-att-capsnet 架构图

我们提出的Res-att-capsnet的架构如图1所示。具体来说，它分为5个部分：卷积层、残差通道注意层、primarycaps层、digitcaps层、回归和分类层。具体来说，EEG与EOG信号的PSD和DE通道在下层网络中存在着互补和矛盾的特性。一方面，第一层卷积之后的残差注意力块加深了有用的输入特征，这使得大量的低频信息可以通过相同的映射直接向前传播。因此，在较低层中减少了由环境和肌肉运动引起的噪声和伪影，并且仍然保留了从先前级别获得的重要特征。另一方面，通道注意机制对EEG和EOG信号之间互补和矛盾的特征通道进行加权，并通过建模它们之间的相互依赖性来自适应地重新调整每个通道的特征，这使得网络能够关注更有用的通道并增强表征学习能力。此外，我们提出的架构在CA层外部叠加残差单元形成RIR架构，并在内部使用跳跃连接，允许后续表示层直接学习残差，有效解决因增加深度神经网络深度而产生的梯度消失问题网络。该架构在小样本脑电领域具有显着的优势。

与此同时，残差注意力快加强了空间频域边界的高频信息，为胶囊网络提供了更好的矢量信息，基于胶囊网络的动态路由机制可探索特征中的部分-整体关系。胶囊网络中，其融合特征图被分解为胶囊，胶囊由多个受约束部分（例如频率、能量和信息量）组成的神经元表示。每个胶囊输出一个向量，表示该胶囊所代表的神经元的存在概率和特征向量。这些向量通过更高级别的胶囊迭代路由。其中分类结果更相关的特征将被重点关注，而不太相关的特征将被削弱，从而提高了网络的学习效能。实验数据表明，残差注意力胶囊网络在回归和分类任务中均优于最先进的基线。由此证明了我们提出的方法的可行性和有效性。

https://doi.org/10.1109/TIM.2023.3307756

撰稿：蔡旭刚

审稿：潘家辉