买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜大连大学申请的专利一种多场景特征联合学习的多模态图像融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117011208B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310991670.3，技术领域涉及：G06T5/50；该发明授权一种多场景特征联合学习的多模态图像融合方法是由周士华;雷佳;李嘉伟设计研发完成，并于2023-08-08向国家知识产权局提交的专利申请。

本一种多场景特征联合学习的多模态图像融合方法在说明书摘要公布了：本发明公开了一种多场景特征联合学习的多模态图像融合方法，包括：构建跨模态的知识强化网络、基于频谱注意力和空间注意力的优化网络、边缘引导学习网络、多模态图像融合模型：其将单模任务和多模任务彻底分离，提出一种多场景特征联合学习结构来统一红外和可见光图像融合以及医学图像融合任务；为了瓦解不同模态之间的融合壁垒，将融合过程分解为三个任务，并应用多任务学习策略来指导模型更准确地学习不同的特征表示；其中跨模态的知识强化网络，增强了特征之间的交流，从而实现了有效特征聚合。此外，空域‑谱域优化网络和边缘引导学习网络，使多模态图像融合模型能够同时保持源图像的前景目标和背景细节。

本发明授权一种多场景特征联合学习的多模态图像融合方法在权利要求书中公布了：1.一种多场景特征联合学习的多模态图像融合方法，其特征在于，包括：构建跨模态的知识强化网络，用于增强多模态图像一致性特征和差异性特征；构建基于频谱注意力和空间注意力的优化网络，用于加强融合结果中的重要上下文信息；构建边缘引导学习网络，用于从源图像中学习轮廓信息；通过所述跨模态的知识强化网络、基于频谱注意力和空间注意力的优化网络和边缘引导学习网络得到多模态图像融合模型： s.t.uΨ＝Ψx,y；ωΨ,uΦ＝Φx；ωΦ,uγ＝γy；ωγ其中，Lf是结构相似性损失，F是具有可学习参数ωf的图像重建网络；λ是权衡参数；x,y是不同模态的输入图像；uΨ,uΦ,uγ代表三个网络输出结果；模型T由三个网络组成，即跨模态的知识强化网络Ψ、基于频谱注意力和空间注意力的优化网络γ、边缘引导学习网络Φ；Lt是一个合成损失函数，包括LΨ、Lγ和LΦ；ωt是关于模型T的可训练参数；所述跨模态的知识强化网络构建了一种多路径校正策略来加强源图像之间的特征关系，具体地：和是相同维度的初始特征映射，它们通过元素相乘生成中间特征映射故将FM定义为:为了保持特征的一致性，利用中间特征映射FM来增强和中的相关信息，该流程的定义如下： 其中，Conv3为卷积操作，其激活函数为PReLU；Fa实现了全局特征关系中的信息聚合；对于特征的差异性，引入特征映射的减法运算来获取和的联合差分特征Fs： 最后，Fa和Fs相加，统一了跨模信息的一致性和差异性：uΨ＝Conv3Fa+Fs所述优化网络包括频谱注意力优化子网络和空间注意力优化子网络，具体为： 其中，ωγ是网络γ的可训练参数；y表示输入图像，其中包含红外图像、CT图像、PET图像和SPECT图像；进入优化网络后，首先利用卷积块处理源图像，得到子网络的输入特征随后，从频谱和空间角度精校特征Fo；所述边缘引导学习网络中，图像执行3×3卷积、1×1卷积修改通道尺寸获得特征并使用BatchNorm层和RELU激活函数来加速收敛；然后采用两种方式处理特征Fd；第一种方式，首先使用步长为2的卷积层来降低空间维度，其卷积核大小为7×7；紧接着使用一个包含了三个3×3卷积层和两个RELU激活函数的卷积组获得特征Fu；然后通过上采样运算恢复空间分辨率；对于第二种方式，特征Fd通过1×1卷积层来获得特征Fg；最后，通过加法运算将两个途径的值组合在一起；流程定义如下：Fu＝UpsConvgMPConvsFdFg＝Conv1FguΦ＝SigmoidConv1Fg+Fu。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连大学，其通讯地址为：116622 辽宁省大连市经济技术开发区学府大街10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。