买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：桂林电子科技大学

摘要：本发明公开了一种基于参考图像超分辨率的多对应匹配模型及重建方法，属于深度学习图像处理技术领域，包括包括特征提取模块、多对应匹配特征提取模块和多对应匹配特征融合模块；还公开了一种基于参考图像超分辨率的多对应匹配模型重建方法。本发明采用上述一种基于图像超分辨率的多对应匹配模型及其重建方法，将低分辨率图像输入到带参考图的超分辨率的多对应匹配模型，低分辨率图像中的块像素在参考图像中找到多个相似的对应，充分利用参考图像的纹理细节信息，恢复图像的细节，得到高质量的高分辨率图像。

主权项：1.一种基于参考图像超分辨率的多对应匹配模型，其特征在于：包括特征提取模块、多对应匹配特征提取模块和多对应匹配特征融合模块；特征提取模块，提取低分辨率图像和参考图像特征；多对应匹配特征提取模块，提取参考图像特征图中对应索引特征；多对应匹配特征融合模块，融合低分辨率图像和多对应匹配特征提取模块提取参考图的相似图像索引特征并重建出高分辨率图像；所述特征提取模块使用VGG网络作为特征提取器，结合多尺度特征提取机制，获得三种不同尺度的低分辨率采样特征和参考图像特征；实现步骤包括：S1、输入低分辨率图像和参考图像，特征提取模块提取三个不同尺度下的低分辨率图像和参考图像特征；S2、输入低分辨率图像特征和参考图像特征到多对应匹配特征提取模块，多对应匹配特征提取模块分别在三个不同尺度下的参考图像上匹配搜索多个与低分辨率图像具有对应关系的相似块像素，提取参考图像特征图中对应索引特征；S21、多对应匹配特征提取模块将低分辨率特征图和参考图像特征图分别展开为若干个大小相同的特征块；S22、多对应匹配特征提取模块计算每一对特征块的余弦相似度，选择相似度值前K的相似特征块，保存在索引表和相似度表中；S23、多对应匹配特征提取模块通过索引表和相似度表在参考图像特征图中将对应索引特征提取出来；S3、多对应匹配特征融合模块将低分辨率图像和多对应匹配特征提取模块提取的参考图多尺度的相似图像索引特征融合并重建出高分辨率图像；对低分辨率图像和多对应匹配特征提取模块提取的参考图多尺度的图像特征融合时，按照顺序依次融合K个参考图像特征信息，经过pixelshuffle层获得高分辨率图像，所述pixelshuffle层中上采样因子等于2；S4、对带参考图的超分辨率多对应匹配模型进行多轮训练，每轮训练结束将网络模型参数另存为.pth文件，并使用测试数据集测试图像重建效果，根据测试图像重建效果修改网络模型参数，继续进行下一轮训练，多轮训练结束后，得到带参考图的多对应匹配模型的超分辨率重建网络效果最优的网络模型参数。

全文数据：

权利要求：

百度查询： 桂林电子科技大学 一种基于图像超分辨率的多对应匹配模型及其重建方法