买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学;江苏数伽科技有限公司

摘要：本发明提供一种多模态图像融合模型训练方法、系统和多模态图像融合方法，属于图像处理技术领域，训练方法包括将初始源图像对分别输入至教师网络和学生网络，以确定教师网络综合损失，以教师网络的综合损失和动态更新损失训练教师网络，将训练好的教师网络作为教师模型；确定学生网络的综合损失；初始源图像对输入至教师模型中，根据教师模型输出的缓冲特征图和第三融合图像以及学生网络输出的编码特征图和第二融合图像确定蒸馏损失，根据蒸馏损失以及学生网络的综合损失和动态更新损失训练学生网络，并将训练好的学生网络作为多模态图像融合模型。本发明的多模态图像融合模型以合理的损失函数处理源图像对，能够较好地保留融合结果细节信息。

主权项：1.一种多模态图像融合模型训练方法，其特征在于，包括：获取第一源图像和第二源图像，以作为初始源图像对；将初始源图像对输入至教师网络中，得到第一融合图像；根据第一融合图像确定教师网络的综合损失；确定教师网络的动态更新损失；根据教师网络的综合损失和动态更新损失训练教师网络，并将训练好的教师网络作为教师模型；将初始源图像对输入至学生网络中，得到编码特征图和第二融合图像；将初始源图像对输入至教师模型中，得到缓冲特征图和第三融合图像；根据第二融合图像确定学生网络的综合损失；确定学生网络的动态更新损失；根据编码特征图、缓冲特征图、第二融合图像和第三融合图像确定蒸馏损失；根据学生网络的综合损失、学生网络的动态更新损失和蒸馏损失训练学生网络，并将训练好的学生网络作为多模态图像融合模型；其中，所述确定教师网络的动态更新损失，包括：获取当前教师网络输出的融合图像，以作为第一中间图像；获取教师网络在第一中间图像前输出的结构相似度最大的融合图像，以作为第二中间图像；获取教师网络在第一中间图像前输出的梯度幅度相似度偏差最小的融合图像，以作为第三中间图像；根据以下公式计算初始源图像对分别与第二中间图像和第一中间图像的结构相似度： ；其中，Steabs为第一源图像I1和第二源图像I2分别与第二中间图像Oteabs的结构相似度之和；Steacur为第一源图像I1和第二源图像I2分别与第一中间图像Oteacur的结构相似度之和；SSIM·为结构相似度运算符；根据以下公式计算初始源图像对分别与第三中间图像和第一中间图像的梯度幅度相似度偏差： ；其中，Gteabg为第一源图像I1和第二源图像I2分别与第三中间图像Oteabg的梯度幅度相似度偏差之和；Gteacur为第一源图像I1和第二源图像I2分别与第一中间图像Oteacur的梯度幅度相似度偏差之和；GMSD·为梯度幅度相似度偏差运算符；如果Steabs＞Steacur，则以第二中间图像为教师网络在当前输出的结构相似度最大的融合图像；如果Steabs＜Steacur，则以第一中间图像为教师网络在当前输出的结构相似度最大的融合图像；如果Gteabg＜Gteacur，则以第三中间图像为教师网络在当前输出的梯度幅度相似度偏差最小的融合图像；如果Gteabg＞Gteacur，则以第一中间图像为教师网络在当前输出的梯度幅度相似度偏差最小的融合图像；在Steabs＞Steacur的情况下，根据以下公式计算第一深层监督损失Lteas： ；在Gteabg＜Gteacur的情况下，根据以下公式计算第一浅层监督损失Lteag： ；其中，Ht为第t层特征图的高度；Wt为第t层特征图的宽度；Dt为第t层特征图的通道总数；Фt,k·表示目标图像第t层第k个通道的特征图；H1为第二中间图像的高；W1为第二中间图像的宽；||·||F表示矩阵Frobenius范数；H2为第三中间图像的高；W2为第三中间图像的宽；表示拉普拉斯算子；根据以下公式计算教师网络的动态更新损失Lrefresh_1：Lrefresh_1=Steabs-SteacurLteas+Gteacur-GteabgLteag。

全文数据：

权利要求：

百度查询： 江南大学 江苏数伽科技有限公司 多模态图像融合模型训练方法、系统和多模态图像融合方法