申请/专利权人：北京工业大学

申请日：2022-02-18

公开（公告）日：2024-05-28

公开（公告）号：CN114533085B

主分类号：A61B5/369

分类号：A61B5/369;A61B5/372;A61B5/1455

优先权：

专利状态码：有效-授权

法律状态：2024.05.28#授权;2022.06.14#实质审查的生效;2022.05.27#公开

摘要：本发明提出了一种基于注意力机制的EEG‑fNIRS的多模态的时空融合分类算法。EEG具有高时间分辨率但是空间分辨率较低，而fNIRS具有高空间分辨率但是时间分辨率较低，本发明利用EEG、fNIRS的多模态融合信息提取在运动想象中的大脑指令，以充分利用EEG、fNIRS之间的信息优势互补。本发明针对运动想象的时空特征的提取，本发明采用CNN提取空间特征，然后再利用LSTM提取时间特征，同时在CNN中使用ECA注意力机制以将有限的资源专注于重要的特征。本发明能够在运动想象的分类任务中，充分利用多模态的时空特性，可以有效的提高大脑中指令的识别。

主权项：1.基于注意力机制的EEG-fNIRS多模态时空融合分类方法，其特征在于，包括以下步骤：1采集脑电图EEG数据，并对数据进行预处理；2采集近红外光谱fNIRS数据，并将其转化为血红蛋白浓度变化量；3针对步骤2得到的血红蛋白浓度变化量数据，对该数据进行预处理操作；4将步骤1、3的预处理数据，按照时空位置信息融合为时空矩阵；5将步骤4的数据进行z-score归一化处理，然后再按照滑动窗口把数据转化为多个数据片段；6将数据输入到网络模型中训练，提取运动想象的大脑指令时空特征，输出到softmax进行分类；EEG数据预处理包括以下步骤：1使用1Hz-33Hz的带通滤波去除在EEG数据采集过程中的眨眼、环境所产生的干扰信号；2实验数据的EEG的采样频率是200Hz，将其降采样到128Hz；将fNIRS数据转化为血红蛋白浓度变化量是利用修正比尔-朗伯定律，包括以下步骤：修正比尔-朗伯定律总结归纳了适用于生物组织的出射光强与入射光强、介质中吸光物质浓度和光传输距离之间的关系， 其中，I0为入射光强，I为出射光强，为吸光度，可表示介质的吸光能力，DPF是路径差分因子，i，n表示为某一个吸光物质，ε为消光系数，λ为波长，为物质i对λ波长的消光系数，c为浓度，ci为吸光物质i的浓度，d为光在介质中传输的距离，即光源和探测器之间的距离，G是背景散射导致的光衰减量；根据修正比尔-朗伯定律推导出氧合血红蛋白浓度变化量， 其中，△HbO2为氧合血红蛋白浓度的变化量，ε2为脱氧血红蛋白的消光系数，ε1为氧合血红蛋白的消光系数，λ1代表波长，λ2代表另一个波长，为脱氧血红蛋白对λ2波长的消光系数，为对λ1波长吸光度变化量，为脱氧血红蛋白对λ1波长的消光系数，为对λ2波长吸光度变化量，为氧合血红蛋白对λ1波长的消光系数，为氧合血红蛋白对λ2波长的消光系数；推导出脱氧血红蛋白浓度， 其中，△HbR为脱氧血红蛋白浓度的变化量；血红蛋白浓度变化量的预处理，包括以下步骤：1使用0.01Hz-0.3Hz的带通滤波去除在数据采集过程中的心率伪迹、环境所产生的噪声；2实验数据的fNIRS的采样频率是10Hz，这里将其上采样到128Hz；将预处理后的EEG、fNIRS数据按照时空位置融合为时空矩阵，其中根据修正比尔-朗伯定律求出的fNIRS数据既包含HbO氧合血红蛋白数据又包含HbR脱氧血红蛋白数据，将EEG和HbO融合为一个二维矩阵，EEG和HbR融合为一个二维矩阵；时空特征融合矩阵的通道位置按照10-5系统采集，将每一时刻的EEG和HbO融合为一个按照通道位置排列的二维15×15矩阵，同样，EEG和HbR融合为一个15×15的矩阵，融合包含以下步骤：1Et是EEG数据在时刻t的所有通道数据，则Et＝{Et1,Et2,Et3…Eti},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道；Ot是HbO数据在时刻t的所有通道数据，则Ot＝{Ot1,Ot2,Ot3…Otj},1≤j≤36,j代表HbO的通道序号，实验数据共36个通道；将两者按照10-5采集系统的各通道二维相对位置进行数据的拼凑；2Et是EEG数据在时刻t的所有通道数据，则Et＝{Et1,Et2,Et3…Eti},1≤i≤30，i代表EEG的通道序号，实验数据共30个通道；Rt是HbR数据在时刻t的所有通道数据，则Rt＝{Rt1,Rt2,Rt3…Rtj},1≤j≤36，j代表HbR的通道序号，实验数据共36个通道；将两者按照10-5采集系统的各通道二维相对位置进行数据的拼凑；将EEG-HbO和EEG-HbR矩阵数据进行z-score归一化，调整数据到一个区间，再按照滑动窗口把数据转化为多个数据片段；z-score归一化：其中X为EEG-HbOEEG-HbR矩阵的非零数据，Z为EEG-HbOEEG-HbR矩阵归一化后的数据，EX为EEG-HbOEEG-HbR矩阵的非零元素的均值，σX为EEG-HbOEEG-HbR矩阵的非零元素的标准差；用于训练的每个被试只有60个任务数据，用滑动窗口扩充数据量，相邻窗口之间有50％的数据重复，窗口数据Wi＝{Wi-1m2,Wi-1m2+1,Wi-1m2+2,…，Wi-1m，Wi0，Wim2-1}，其中，i代表窗口序号，m代表窗口大小；网络模型包括以下部分，模型分为多个空间特征提取模块和一个时间特征提取模块，其中每个空间特征提取模块由3个二维卷积层、1个ECA层以及1个全连接层组成，1个时间特征提取模块包含2层的LSTM和2个全连接层；每个空间特征提取模块的3个二维卷积的核都是3,3，stride为1，padding为0，输出通道数分别是32、64、128，时间特征提取模块的隐层个数为64；多个空间特征提取模块将提取的空间特征按照时序拼接到一起后，输入到时间特征提取模块；最后输出到softmax，进行二分类。

全文数据：

权利要求：

百度查询： 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD