申请/专利权人：北京工业大学

申请日：2024-02-23

公开（公告）日：2024-05-17

公开（公告）号：CN118053028A

主分类号：G06V10/764

分类号：G06V10/764;G06V10/77;G06V10/80;G06V10/82;G06N3/0464;G06N3/082;G06N3/084

优先权：

专利状态码：在审-公开

法律状态：2024.05.17#公开

摘要：一种统计信息数据与影像数据的模态特征对齐融合方法涉及多模态数据融合领域，本发明提出了一种创新的多模态数据融合方法，该方法结合了特征对齐和基于交叉注意力机制的特征融合。特征对齐旨在将不同模态的特征映射到一个共享的表示空间中，以实现模态间的语义对齐。基于交叉注意力机制的特征融合能够自动学习不同模态数据的重要性权重，并将这些权重应用于特征的融合过程中。通过特征对齐以及交叉注意力机制策略，大大提高了复杂医学目标的分类准确率，相比传统拼接的特征融合方式，分类准确率由85.71％提升到90.48％，特异性达到了94.12％。

主权项：1.一种统计信息数据与影像数据的模态特征对齐融合方法，其特征在于，分为4个阶段：统计信息特征选择阶段、影像深度特征提取阶段、多模态特征对齐阶段和模态间交叉注意力机制的多模态数据融合进行目标分类预测阶段；具体包括以下步骤：1统计信息特征选择阶段：第一步，计算特征与目标变量之间的相关性，对于给定的特征集合，计算每个特征与目标变量之间的相关性；使用Pearson相关系数度量特征与目标变量之间的线性相关程度；首先，确定两个变量的数据集，对于两个变量X和Y，它们的数据集分别为X＝{x1,x2,...,xn}和Y＝{y1,y2,...,yn}，其中n是数据点的数量，对数据进行归一化后，分别计算X和Y的平均值，记为meanX和meanY；然后，计算每个数据点与对应变量的平均值的差值，对于每个数据点i，计算xi-meanX和yi-meanY的差值；接下来，计算差值的乘积，对于每个数据点i，将得到的差值相乘，得到xi-meanX*yi-meanY；最后根据Pearson相关系数的计算公式公式1，得到系数值，记为rcf； 第二步，计算特征之间的相关性；通过计算特征之间的Pearson相关系数，以评估它们之间的冗余程度，记为rff；第三步，计算子集的评估度量，对于给定的特征子集，通过启发式方程进行度量，启发式方程如公式2所示； 其中，Merit为k个特征子集的度量结果，k为子集特征的个数，rcf为特征与类之间的平均相关系数，即特征与类别之间的相关性，rff为特征与特征之间的平均相关系数，即特征间冗余程度；第四步，选择统计特征子集，通过最佳优先搜索算法在特征子集空间中寻找最佳子集，最佳子集为计算的启发式方程数值最大值所对应的特征，搜索算法通过在每一步选择最优的特征进行迭代地构建统计特征子集；2影像深度特征提取阶段：第一步，通过编码器对CT影像中的深度特征进行提取；选取的特征提取网络模型为EfficientNet；EfficientNet网络是通过网络结构搜索技术搜索网络的图像输入分辨率、网络深度以及通道宽度3个参数，得到EfficientNet-B0～B7网络结构；采用MBConv模块进行下采样操作；MBConv结构包括：1个1×1的卷积，用于提高维度；1个3×3的深度卷积；1个SE模块，由1个全局平均池化，2个全连接层组成；1个1×1的卷积，用于降低维度；最后连接1个dropout层；卷积或深度卷积包含BN层和Swish激活层；选用的数据大小为128×128×60，选取EfficientNet-B0作为训练网络；EfficientNet-B0网络的width,depth,resolution,dropout参数为1.0,1.0,128,0.2；网络由9个stage组成，stage1是3x3的卷积；stage2-8为重复堆叠MBConv块，重复次数为1、2、2、3、3、4、1，卷积核大小为3、3、5、3、5、5、3；stage9由1x1卷积、平均池化层和全连接层三部分组成；stage1-8的stride为2、1、2、2、2、1、2、1；第二步，深度特征降维；本采用的EfficientNet-B0网络去掉分类器层将得到1280维深度特征，将通过神经网络中的隐藏层将其降维到与CFS特征选择后的统计特征子集相同的维度，从而进行对齐相关计算；3基于余弦相似性的多模态数据的特征对齐阶段：第一步，特征提取；对于每个模态的数据，进行特征提取，将其转换成适合余弦相似性计算的向量表示；针对图像数据，采用第二阶段提取到的深度特征；对于统计数据，采用第一阶段选择的统计特征子集作为特征；第二步，特征归一化；对于每个模态的特征向量，进行归一化操作，将其转换为单位向量；第三步，余弦相似性计算；对于两个不同模态的特征向量，向量A以及向量B，利用余弦相似性公式计算它们之间的相似度；余弦相似性可以通过计算两个向量的内积除以它们的范数来得到；如公式3所示： 其中，A·B表示向量A和向量B的内积即对应元素相乘后求和，||A||表示向量A的范数即向量A的长度；第四步，特征对齐；根据计算得到的余弦相似性，选择相似度最高的特征对进行对齐，将它们映射到同一个表示空间中；特征对齐通过线性变换、投影来实现；4多模态数据融合阶段：第一步，特征提取；该阶段特征提取与第三阶段相同；第二步，注意力权重计算；a.特征映射：将两个模态数据的特征表示分别对于模态1表示为F和对于模态2G；b.通过分别对F和G进行线性变换得到Q、K、V；线性变换通过矩阵乘法来实现，得到Q＝WqF、K＝WkG、V＝WvG，其中Wq、Wk和Wv是权重矩阵,它们通过反向传播算法和训练数据来进行学习和更新；c.相似度计算：计算查询Q和键K之间的相似度得分，通常使用点积方法来度量特征表示之间的相关性，得到相似度矩阵；d.注意力权重计算：将相似度矩阵的每一行或每一列应用于Softmax函数，获得注意力权重，确保注意力权重在0到1的范围内，并且所有权重的总和为1；第三步，特征融合；将注意力权重与另一个模态数据的特征表示进行加权融合；通过将注意力权重乘以特征表示的每个元素，然后对结果进行求和，得到最终的融合特征表示；第四步，模态特征更新；将融合后的特征作为新的模态数据特征，并通过网络的反向传播进行特征更新，添加线性层以及Softmax函数用于最终分类预测任务的执行。

全文数据：

权利要求：

百度查询： 北京工业大学 一种统计信息数据与影像数据的模态特征对齐融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD