买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了基于混合注意力和双层监督的图像超分辨率重建方法，包括获取高分辨率的标签图像和参考图像并对其进行下采样，构建得到数据集；对数据集的图像进行多尺度特征提取；利用transformer注意力从参考图像特征中获得对应特征；利用通道注意力对提取的对应特征自适应优化处理得到迁移特征；将迁移特征与低分辨率图像特征通过解码器网络融合实现高质量的图像重建，并采用双层监督信号更新网络参数最小化损失。本发明能够提高超分辨率重建的重建效果和视觉感受。

主权项：1.基于混合注意力和双层监督的图像超分辨率重建方法，其特征在于，包括：步骤1：获取高分辨率的标签图像HR和参考图像Ref并对其进行下采样，得到对应的低分辨率图像LR和Ref↓，对HR、Ref、LR和Ref↓进行数据增强后构建得到数据集；步骤2：多尺度特征提取模块通过编码器网络对数据集的图像进行多尺度特征提取，HR和Ref均获得三种不同的缩放特征，分别记为FHR和FRef，LR和Ref↓分别得到FLR和FRef↓；步骤3：特征选择模块利用transformer注意力，基于LR和Ref的相关性从FRef中获得对应特征F；步骤4：特征自适应模块利用通道注意力对F进行自适应优化处理，得到优化处理后的迁移特征步骤5：编码重构模块将与FLR通过解码器网络融合得到融合特征Ffusion，将融合后的特征Ffusion补偿到LR中，得到最终的超分辨率图像SR，实现高质量的图像重建，并采用双层监督信号更新网络参数以最小化损失；步骤3所述特征选择模块，先嵌入LR和Ref的相关性，再利用相关性从FRef中提取用于补偿低分辨率图像恢复的信息，作为Ref上对应的要迁移的特征，具体流程如下：步骤3-1：估计LR特征FLR和Ref↓特征FRef↓之间的相似性来嵌入LR和Ref图像之间的相关性：将FLR和FRef↓展开成一个个3×3的小块分别记为qii∈[1,HLR×WLR]和kjj∈[1,HRef×WRef]，并通过归一化内积的方式计算小块之间的相关性： ri,j代表LR中第i个位置和Ref中第j个位置的相关性；步骤3-2：得到的相关性后进一步计算，得到硬注意力图H和软注意力图S：首先计算一个硬注意力图H，其中第i个元素hii∈[1,HLR×WLR]是由相关性ri,j计算出来的： 其中，hi的值可以看作是一个索引，表示Ref图像中与LR图像中第i个位置最相关的位置；然后利用得到的硬注意力图H，对FRef的展开面片V做索引选择操作： ti表示T在第i个图像块的值，该值是从FRef第hi个位置选择的；最后将所有的tii∈[1,HLR×WLR]聚合得到特征匹配后的HR特征T；为了避免T中每个位置的信息被同等对待，进一步利用qi和kj的相关性ri,j，对特征T的不同位置施加不同的注意力权重，具体的：首先计算一个软注意力图S,其中第i个元素sii∈[1,HLR×WLR]通过相关性ri,j计算得到： 其中si表示特征T在第i个位置的注意力权重；步骤3-3：将得到的软注意力图S作用在特征T上得到用于迁移的特征F：F＝T⊙S其中，运算符⊙表示特征映射之间的逐元素乘法，特征F表示Ref上对应的要迁移的特征；步骤4所述特征自适应模块，利用残差结构将通道注意力作用于特征F上，自适应地对特征的每个通道施加不同的关注，得到优化处理后的迁移特征所述通道注意力采用平均池化和最大池化两种通道描述符来聚合特征映射的空间信息，并用一个共享网络将通道描述符以先降维再升维的方式映射为通道权重值；所述步骤4中，自适应地对特征的每个通道施加不同的关注，是指通过学习通道间的相互依赖性来自适应缩放通道特征，具体的：对于大小为C×H×W的特征映射x，首先利用利用平均池化和最大池化操作聚合特征映射的空间信息，生成表示每个通道的通道描述符zavg和zmax，其中第c个元素由该通道的所有元素计算得到： 其中，xci,j为第c个通道特征在i,j处的值，HAP·为全局平均池化函数，HMP·为全局最大池化函数；接着通道描述符zavg和zmax通过一个共享网络来自适应地学习权重：s＝σMLPzavg+zmax＝σWUδWDzavg+zmax其中，σ·和δ·分别表示Sigmoid函数和ReLU函数；WD是激活网络第一层的权重，WU是激活网络第二层的权重；通道描述符以减小比例r降低通道数，被ReLU激活后，再由信道升尺度层以比例r增加，最后经过Sigmoid函数将每一层的通道权重映射到0,1之间；得到的各通道权重进一步作用在输入的特征映射x上实现对每个通道产生不同的关注：yc＝sc·xc其中，sc是第c个通道的权重，xc是第c个通道特征；通过上述的操作对步骤4得到的特征实现通道维度的特征筛选，进而得到优化处理后的迁移特征所述步骤5双层监督信号更新网络参数：在中间特征层，采用额外的三重监督损失来最小化HR图像的特征和融合特征的距离： 其中IHR表示真实图像，表示编码器的第n层，表示HR图像的特征，Ffusion表示LR特征与迁移特征的融合特征；在最终图像层，采用重建损失、感知损失和生成对抗损失三种损失来监督限制HR和最后的超分辨率重建图像SR在像素空间、特征空间中的距离，以期望恢复出更真实的纹理；最终中间特征层和图像层两个层面的监督信号来学习更强大的特征。

全文数据：

权利要求：

百度查询： 南京航空航天大学 基于混合注意力和双层监督的图像超分辨率重建方法