申请/专利权人：中国科学技术大学

申请日：2024-04-02

公开（公告）日：2024-06-07

公开（公告）号：CN118154441A

主分类号：G06T5/50

分类号：G06T5/50;G06T5/60;G06T7/00;G06N3/0464;G06N3/0455;G06V10/44;G06V10/80;G06N3/048;G06N3/047;G06N3/084

优先权：

专利状态码：在审-公开

法律状态：2024.06.07#公开

摘要：本发明公开了一种基于语义信息引导和多模态特征分解的医学图像融合方法，包括：1、输入两张不同模态的图像，共同通过分解分支来得到第一模态特定特征FM1、第二模态特定特征FM2和两模态共有结构特征Fstr；2、将两张不同模态图像输入语义分支中，并得到语义特征Fsem；3、将共有结构特征Fstr和语义特征Fsem输入选择性融合模块中，并得到综合融合特征Fout；4、通过第一模态特定特征FM1，第二模态特定特征FM2和综合融合特征Fout相加后，得到重构后的融合图像。本发明能捕获不同模态的共有信息，结合语义信息的指导来提高融合效果，从而辅助于临床分析。

主权项：1.一种基于语义信息引导和多模态特征分解的医学图像融合方法，其特征在于，是按如下步骤进行：步骤1：对两张不同模态的磁共振图像分别进行预处理，得到预处理后的两种模态的医学图像I1和其中，C，H，W分别表示图像的通道数、高度及宽度；步骤2：构建语义信息引导的模态分解医学图像融合网络，包括：分解分支、语义分支和选择性融合模块；步骤2.1：所述分解分支由m个基于中心差分卷积的编码器，n个基于中心差分卷积的解码器和1个互信息计算模块构成，每个编码器和解码器享有共同的结构；当i＝1时，第i个编码器分别对两种模态的医学图像I1和I2进行处理，得到第一模态第i特征和第二模态第i特征当i＝2,3,…,m时，将第一模态第i-1特征和输入第i个编码器中，并相应得到第一模态第i特征和第二模态第i特征从而经过第m个编码器的处理后，得到第一模态第m特征和第二模态第m特征将m个编码器输出的第一模态特征和第二模态特征输入所述互信息计算模块中进行处理，相应得到第一模态低维特征向量和第二模态低维特征向量其中，表示第一模态第i低维特征，表示第二模态第i低维特征； 和沿通道维度进行拼接后输入第一个解码器中，并依次经过n个解码器的处理后，由第n个解码器输出两个模态的共有结构特征Fstr，再将和分别减去Fstr后，得到第一模态解耦特征FM1和第二模态解耦特征FM2；步骤2.2：所述语义分支由W个基于U-Net的编码器，W个基于U-Net的解码器和1个激活函数层构成，每个编码器和解码器均包含1个n1×n1的卷积层、1个归一化层BN和1个ReLu层；I1和I2按照通道维度拼接后，输入第一个基于U-Net的编码器中，并依次经过W个基于U-Net的编码器的处理后，得到深层语义特征Fs；深层语义特征Fs输入第一个基于U-Net的解码器中，并依次经过W个基于U-Net的解码器的处理后，得到语义解码特征Fsd；语义解码特征Fsd输入所述激活函数层中，并输出语义特征Fsem；步骤2.3：所述选择性融合模块由两个自注意力单元，两个上下文感知单元和一个集成单元构成；共有结构特征Fstr分别输入并行的第一个自注意力单元和第一个上下文感知单元中进行处理，相应得到自注意力共有特征表示和上下文共有特征表示语义特征Fsem输入分别输入并行的第二个自注意力单元和第二上下文感知单元中进行处理，相应得到自注意力语义特征表示和上下文语义特征表示将和相乘后，得到结构特征表示Ostr；将和相乘后，得到语义特征表示Osem；将Ostr、Osem和Fsem输入所述集成单元中进行处理，得到聚合特征Fout；步骤2.4：将FM1，FM2和Fout相加后，得到重构后的MR图像If；步骤3：基于If以及I1和I2建立算总体损失函数Ltotal，利用梯度下降法对所述语义信息引导的模态分解医学图像融合网络进行训练，并计算总体损失函数Ltotal，当训练迭代次数达到设定的次数时，训练停止，从而得到最优的模态医学图像融合网络，用于实现医学图像的融合。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于语义信息引导和多模态特征分解的医学图像融合方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD