申请/专利权人：中国人民解放军国防科技大学

申请日：2024-04-01

公开（公告）日：2024-06-21

公开（公告）号：CN118228771A

主分类号：G06N3/0455

分类号：G06N3/0455;G06N3/0464;G06N3/084;G06F18/213;G06F18/25;G06F18/2415;G06F18/21;G06F18/214;G06F18/15;G06F123/00;G06F123/02;G06N3/048

优先权：

专利状态码：在审-公开

法律状态：2024.06.21#公开

摘要：本发明公开了一种基于时频空注意力解耦的认知信号解码方法，目的是解决现有技术全局特征利用率低以及不同域特征提取互相干扰导致解码准确率低的问题。技术方案是：首先构建由基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块构成的基于时频空注意力解耦的认知信号解码系统，然后准备训练解码系统所需的数据集，采用数据集中的训练集对解码系统进行训练，得到训练后的解码系统。最后采用训练后的解码系统对输入的脑认知数据集开展认知分类任务，得到认知分类结果。本发明能能够更有效地提取不同域的特征信息，提升脑电信息解码的准确率。

主权项：1.一种基于时频空注意力解耦的认知信号解码方法，其特征在于包括以下步骤：第一步，构建基于时频空注意力解耦的认知信号解码系统；基于时频空注意力解耦的认知信号解码系统由基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块构成；基于多视野注意力的频域特征提取模块与融合模块相连，从频域维度对从用户读取的脑认知信号X进行特征提取，得到脑认知信号的频域特征编码ZF，将ZF发送给融合模块；基于多视野注意力的频域特征提取模块由多视野卷积模块、频域注意力模块、深度卷积DWConv模块三个部分组成；多视野卷积模块由第一Inception模块和第二Inception模块叠加组成，对输入的认知信号X进行处理，得到脑认知信号的多视野频域特征ZMF，并将ZMF发送给频域注意力模块；频域注意力模块从多视野卷积模块接收ZMF，使用Squeeze-and-Excitation方法即压缩-激励方法对ZMF进行注意力强化，得到注意力增强的多视野频域特征编码Z′MF，将Z′MF发送给深度卷积DWConv模块；深度卷积DWConv模块从频域注意力模块接收Z′MF，调整Z′MF的输出维度，对卷积层中每个输出通道进行归一化，得到脑认知信号的频域特征编码ZF，将ZF发送给融合模块；基于动态脑连接图注意力的空间域特征提取模块与融合模块相连，从空间维度对从用户读取的脑认知信号X进行特征提取，得到脑认知信号的空间特征编码ZS，将ZS发送给融合模块；基于动态脑连接图注意力的空间域特征提取模块由第一卷积模块、深度卷积模块、第三Inception模块和第四Inception模块、空间注意力模块、第一残差连接模块组成；第一卷积模块接收X，对X进行特征的初步提取，得到初步提取特征后的脑认知信号X′，将X′分别发送给深度卷积模块、第三Inception模块和第四Inception模块；深度卷积模块从卷积模块接收X′，提取X′的查询特征，得到空间域子图查询特征QS，将QS发送给空间注意力模块和第一残差连接模块；第三Inception模块从X′提取X的键特征，得到空间域键特征KS，将KS发送给空间注意力模块；第四Inception模块从X′提取X的值特征，得到空间域值特征VS，将VS发送给空间注意力模块；空间注意力模块接收QS、KS和VS，对QS、KS和VS进行注意力强化，得到注意力增强的空间域注意力特征编码AS，将AS发送给第一残差连接模块；第一残差连接模块从深度卷积模块接收QS，从空间注意力模块接收AS，将AS与QS相加得到脑认知信号的空间特征编码ZS，将ZS发送给融合模块；融合模块与基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、基于局部时间滑窗注意力的时域特征提取模块相连；融合模块接收基于多视野注意力的频域特征提取模块输出的ZF和基于动态脑连接图注意力的空间域特征提取模块输出的ZS，将ZF和ZS融合，得到融合后的脑认知信号编码ZFS，将ZFS发送给基于局部时间滑窗注意力的时域特征提取模块；基于局部时间滑窗注意力的时域特征提取模块与融合模块、聚合模块相连，从时间维度对ZFS进行特征提取，得到脑认知信号的时间特征编码ZT，将ZT发送给聚合模块；基于局部时间滑窗注意力的时域特征提取模块由第二卷积模块、第三卷积模块、第四卷积模块、第五卷积模块、第六卷积模块、时间注意力模块、第二残差连接模块组成；第二卷积模块接收融合模块发送的ZFS，提取ZFS的查询特征，得到时间域子图查询特征QT，将QT发送给时间注意力模块；第三卷积模块接收融合模块发送的ZFS，提取ZFS的键特征，得到时间域键特征KT，将KT发送给时间注意力模块；第四卷积模块接收融合模块发送的ZFS，提取ZFS的值特征，得到时间域值特征VT，将VT发送给时间注意力模块和第五卷积模块；时间注意力模块从第二卷积模块接收QT、从第三卷积模块接收KT、从第四卷积模块接收VT，对QT、KT、VT进行注意力增强，得到注意力增强的时间域注意力特征编码CT，将CT发送给第二残差连接模块；第五卷积模块进一步提取VT的时间域值特征，得到深度提取的时间域值特征AT，将AT发送给第二残差连接模块；第二残差连接模块接收时间注意力模块输出的CT和第五卷积模块输出的AT，对CT和AT进行计算，得到脑认知信号的原始时间特征编码ZT0，将ZT0发送给第六卷积模块；第六卷积模块接收第二残差连接模块输出的ZT0，进一步提取ZT0的特征，得到脑认知信号的时间特征编码ZT，将ZT发送给聚合模块；聚合模块与基于局部时间滑窗注意力的时域特征提取模块相连，它从基于局部时间滑窗注意力的时域特征提取模块接收ZT，对ZT进行聚合解码，得到脑信号解码后的认知状态H；第二步，构建用于训练基于时频空注意力解耦的认知信号解码系统的数据集；方法是：2.1采用来自世界机器人大赛——BCI脑控机器人大赛中提供的开源数据集CIV-2A作为数据集；CIV-2A记录了9位被试的四类运动想象包括左手、右手和脚、舌头；CIV-2A中的原始数据由22AgAgCI导联记录，并以250Hz的频率采样和0.5到100HZ的带通滤波器滤波；2.2对数据集进行预处理：将数据集中的原始数据以128Hz重采样，并以4到38Hz进行带通滤波，然后进行归一化，对每一条记录，提取提示发生后的[0.5，2.5]秒区间内的数据，得到预处理后的数据集；2.3对预处理后的数据集划分训练集与测试集；数据集中的原始数据提供了每个被试用于训练和测试的两轮各288条记录，将训练和测试的两轮记录混合，得到576条记录，记为X；按照4∶1的比例，将X划分为训练集XTrain和测试集XTest，训练集XTrain中记录条数S＝460，测试集XTest中记录条数T＝i16；第三步，采用XTrain对基于时频空注意力解耦的认知信号解码系统的基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块进行训练，并保存训练后各个模块的权重参数；方法是：3.1设置基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块中的神经网络的初始配置，包括设置滑动窗口大小w、空间稀系数τ、子空间节点数、随机丢失参数dropout、池化参数p1、权重衰减系数、学习率learningrate、批处理尺寸batch_size，训练迭代轮数；3.2令批处理轮数N＝Sbatch_size，将训练集XTrain分为N个批次，得到划分后的训练集X′Train＝{X′Train1，X′Train2，...，X′Trainn，...，X′TrainN，其中X′Trainn是训练集X′Train中的第n批的训练数据；采用X′Train对基于时频空注意力解耦的认知信号解码系统进行训练，方法是：3.2.1令批次号n＝1；3.2.2基于多视野注意力的频域特征提取模块采用第一特征提取方法对X′Trainn进行特征提取，得到第n批次脑认知信号的频域特征编码并将发送给融合模块；方法是：3.2.2.1多视野卷积模块处理X′Trainn，得到脑认知信号的多视野频域特征ZMF；方法是：3.2.2.1.1令变量生成一个从1到的等差数列，步长为取等差数列的前k个元素构成kernel_list；num_kernels为第一Inception模块、第二Inception模块中内卷积核数量，设定为5，frequency为采样频率，设定为500；3.2.2.1.2令变量kernel_n＝1；3.2.2.1.3将kernel_list的第kernel_n个元素记为k1，将kernel_list的第k-kernel_n+1个元素记为k2；3.2.2.1.4多视野卷积模块将X′Trainn进行零填充，零填充的参数为k1+k2％2；补全维度后的X′Trainn依次通过第一Inception模块的输入通道为1、输出通道为2、卷积核大小为1，k1的卷积层、GELU激活函数、第二Inception模块的输入通道为2、输出通道为4、卷积核大小为1，k2的卷积层，得到处理后的X′Trainn；3.2.2.1.5若kernel_n＜k：转3.2.2.1.3；若kernel_n＝k，得到多视野卷积模块处理后的X′Train，转3.2.2.1.6；3.2.2.1.6多视野卷积模块合并多视野卷积模块处理后的X′Trainn的第二个维度和第三个维度，得到多视野频域特征编码ZMF；3.2.2.2频域注意力模块接收多视野卷积模块输出的ZMF，对ZMF进行注意力增强，得到注意力增强的多视野频域特征编码Z′MF，将Z′MF发送给深度卷积DWConv模块；3.2.2.3深度卷积DWConv模块接收频域注意力模块输出的Z′MF，对Z′MF进行深度卷积、调整输出维度，得到脑认知信号的频域特征编码ZF，将ZF发送给融合模块；3.2.3基于动态脑连接图注意力的空间域特征提取模块采用第二特征提取方法对训练集X′Trainn进行特征提取，得到脑认知信号的空间特征编码ZS，将ZS发送给融合模块；方法是：3.2.3.1第一卷积模块计算核长度kern_length，3.2.3.2第一卷积模块对X′Trainn进行预卷积处理，得到预卷积后的X′Trainn，将预卷积后的X′Trainn发送给深度卷积模块、第三Inception模块和第四Inception模块；3.2.3.3基于预卷积后的X′Trainn计算空间域子图查询特征QS、空间域键特征KS、空间域值特征VS，方法是：3.2.3.3.1深度卷积模块计算空间域子图查询特征QS；深度卷积模块采用输入通道为num_kernels、输出通道为num_kernels*D、卷积核大小为node_size，1的卷积层对预卷积后的X′Trainn进行查询特征提取，得到空间域子图查询特征QS，将QS发送给空间注意力模块和第一残差连接模块；3.2.3.3.2第三Inception模块计算空间域键特征KS，将KS发送给空间注意力模块；3.2.3.3.3第四Inception模块计算空间域值特征VS，将VS发送给空间注意力模块；3.2.3.4空间注意力模块对QS、KS、VS进行计算，得到注意力增强的空间域注意力特征AS；3.2.3.5第一残差连接模块将AS与QS相加，经过GELU函数激活、使用归一化函数batch_norm进行归一化、使用参数为1，p1的二维平均池化层池化后，得到脑认知信号的空间特征编码ZS，将ZS发送给融合模块；3.2.4融合模块采用融合方法对ZF和ZS进行融合，得到融合后的脑认知信号编码ZFS，将ZFS发送给基于局部时间滑窗注意力的时域特征提取模块，方法是：3.2.4.1将ZF和ZS相加，得到信号相加后的结果3.2.4.2将通过概率为dropout的丢弃层进行随机稀疏化，经过batch_norm层归一化后得到融合后的脑认知信号编码ZFS，将ZFS发送给基于局部时间滑窗注意力的时域特征提取模块；3.2.5基于局部时间滑窗注意力的时域特征提取模块采用第三特征提取方法从时间维度对从融合模块接收的ZFS进行特征提取，得到脑认知信号的时间特征编码ZT，将ZT发送给聚合模块，方法是：3.2.5.1接收融合模块输出的ZFS，根据ZFS分别计算空间域子图查询特征QT、时间域键特征KT、时间域值特征VT，方法是：3.2.5.1.1第二卷积模块将ZFS先进行零填充，参数为0，1-kern_length％2，通过填充0补全ZFS的维度，然后对零填充后的ZFS进行维度交换，合并第二个维度和第三个维度、再交换其第二个维度和第三个维度的数值，得到融合脑认知信号解码的时间域子图查询特征QT，将QT发送给时间注意力模块；3.2.5.1.2第三卷积模块将ZFS先进行零填充，参数为0，1-kern_length％2，通过填充0补全ZFS的维度，然后对零填充后的ZFS进行维度交换，合并第二个维度和第三个维度、再交换其第二个维度和第三个维度的数值，得到融合脑认知信号解码的时间域子图键特征KT，将KT发送给时间注意力模块；3.2.5.1.3第四卷积模块将ZFS先进行零填充，参数为0，1-kern_length％2，然后通过一个输入通道为d_model、输出通道为d_hidden、卷积核大小为1，kern_length的卷积层，将卷积后的ZFS合并第二个维度和第三个维度、再交换其第二个维度和第三个维度的数值，得到融合脑认知信号编码的时间域值特征VT，将VT发送给时间注意力模块和第五卷积模块；3.2.5.2时间注意力模块对QT、KT、VT进行计算，得到注意力增强的时间域注意力特征CT，将CT发送给第二残差连接模块；3.2.5.3第五卷积模块对VT进行零填充，参数为0，1-kern_length％2，零填充后的VT通过一个输入通道为d_model、输出通道为d_hidden、卷积核大小为1，kern_length的卷积层进行特征提取，得到深度时间域值特征AT，将AT发送给第二残差连接模块；3.2.5.4第二残差连接模块对CT和AT进行残差连接、得到原始时间特征编码ZT0，先将CT和AT相加，再采用batch_norm函数进行归一化，得到原始时间特征编码ZT0，将ZT0发送给第六卷积模块；3.2.5.5第六卷积模块将ZT0进行零填充，参数为0，1-kern_length％2，然后将零填充后的ZT0通过一个输入通道为d_model、输出通道为d_hidden、卷积核大小为1，kern_length的卷积层进行特征提取，再经过batch_norm层归一化、平均二维池化后，合并隐藏维度和其他维度，得到脑认知信号的时间特征编码ZT，将ZT发送给聚合模块；3.2.6聚合模块接收ZT，采用聚合方法将聚合到一维，得到脑信号解码后的认知状态H，方法为：3.2.6.1令N1等于batch_size，对ZT进行线性变换，得到线性变换后的ZT；3.2.6.2将线性变换后的ZT经过batch_norm层归一化，得到脑信号解码后的认知状态H；3.2.7使用交叉熵损失函数计算脑信号解码后的认知状态H与标签label的损失LCE；交叉熵损失函数公式为：LCE＝CEtargets，logits其中targets代表真实分布、由label进行归一化得到；logits代表概率分布，由H进行归一化得到；3.2.8使用Adam优化器和余弦函数衰减优化基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块的权重参数；3.2.9若n＜N1，令n＝n+1，转3.2.2继续训练；若n＝N1，得到训练后的基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块的权重参数；第四步，将第三步训练得到的基于多视野注意力的频域特征提取模块、基于动态脑连接图注意力的空间域特征提取模块、融合模块、基于局部时间滑窗注意力的时域特征提取模块、聚合模块的权重参数加载到基于时频空注意力解耦的认知信号解码系统，得到训练后的基于时频空注意力解耦的认知信号解码系统；第五步，训练后的基于时频空注意力解耦的认知信号解码系统对用户输入的脑认知信号进行解码，得到预测的认知信号解码结果，方法是：5.1基于多视野注意力的频域特征提取模块和基于动态脑连接图注意力的空间域特征提取模块接收用户输入的脑认知信号X；5.2基于多视野注意力的频域特征提取模块采用3.2.2步所述的第一特征提取方法对X进行特征提取，得到X的频域特征编码Z1，将Z1发送给融合模块；5.3基于动态脑连接图注意力的空间域特征提取模块采用3.2.3步所述的第二特征提取方法对X进行特征提取，得到X的空间特征编码Z2，将Z2发送给融合模块；5.4融合模块接收Z1与Z2，采用3.2.4步所述的融合方法对Z1和Z2进行融合，得到融合后的X的脑认知信号编码Z3，将Z3发送给基于局部时间滑窗注意力的时域特征提取模块；5.5基于局部时间滑窗注意力的时域特征提取模块接收融合模块传递来的Z3，采用3.2.5步所述的第三特征提取方法从时间维度对Z3进行特征提取，得到X的脑认知信号的时间特征编码Z4，将Z4发送给聚合模块；5.6聚合模块接收Z4，采用3.2.6步所述的聚合方法将Z4聚合到一维，得到X的脑信号解码后的认知状态HX，作为系统对用户输入的脑认知信号数据X的解码结果。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 基于时频空注意力解耦的认知信号解码方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD