买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜西南石油大学申请的专利一种基于结构信息嵌入和注意力机制的数字图像修复方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114820381B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210528955.9，技术领域涉及：G06T5/77；该发明授权一种基于结构信息嵌入和注意力机制的数字图像修复方法是由程吉祥;吴丹;李志丹;张伊洛;魏添设计研发完成，并于2022-05-16向国家知识产权局提交的专利申请。

本一种基于结构信息嵌入和注意力机制的数字图像修复方法在说明书摘要公布了：本发明公开了一种基于结构信息嵌入和注意力机制的数字图像修复方法，包括如下步骤：首先对公开数据集图像进行尺寸处理、数据增强并采用RTV方法提取结构信息；而后构建基于结构信息嵌入和注意力机制的图像修复网络，利用结构信息及图像特征共享的生成器同时进行结构修复及嵌入指导图像特征重构；利用带光谱归一化的铰链形式结构信息判别器对修复的平滑图像的真伪进行判别；采用联合损失约束模型优化方向；利用训练好的模型权重参数及构建的修复网络可进行对破损图像完成修复任务及效果评估；本发明可以更好地表征结构信息，使得修复后的图片具有更合理的结构及更真实的视觉效果，主客观测试评价结果和对比实验都证明了本发明方法的有效性。

本发明授权一种基于结构信息嵌入和注意力机制的数字图像修复方法在权利要求书中公布了：1.一种基于结构信息嵌入和注意力机制的数字图像修复方法，其特征在于，包括以下步骤：S1、获取包括图像数据集和掩码数据集的实验数据集并对图像数据集中大于目标尺寸的图像进行纵向平均分割使得预处理后的图像具有相同的尺寸，其中，图像数据集和掩码数据集均分别包括训练集和测试集；S2、对预处理后的图像采用RTV平滑方法提取边缘保留的平滑图像作为结构信息，RTV平滑方法的目标函数为： 其中， 式中，S为输出结构图，p为图像像素点，I为输入图像，λp为权重，Dxp、Dyp分别为输出结构图在x方向、y方向的像素级窗口总变差度量，Lxp、Lyp分别为输出结构图在x方向、y方向的窗口固有变化量，ε为常数，q为以p为中心的矩形区域Rp内的一个像素点，gp,q为根据空间关系构建的权重函数，xp、xq分别为像素p、q在x方向的分量，yp、yq分别为像素p、q在y方向的分量，σ为控制窗口的空间比例参数；S3、构建结构信息嵌入和注意力机制的数字图像修复网络，所述数字图像修复网络包括结构信息和图像共享的生成器、结构信息判别器；结构信息和图像共享的生成器用于同时实现结构信息的修复和掩码更新，并利用已修复的结构信息、掩码信息指导图像特征的生成；所述结构信息判别器用于对修复的平滑图像的真伪进行判别；S4、将步骤S1中掩码数据集中训练集的图像、预处理后的图像数据集中训练集的图像和S2提取的边缘保留的平滑图像输入步骤S3构建的数字图像修复网络训练；设置优化策略和相关超参数训练所述网络并采用联合损失约束网络优化方向；通过对网络进行循环迭代优化使损失函数不断减小趋于收敛，并保存网络训练权重参数；S5、使用步骤S3构建的数字图像修复网络的生成器和步骤S4获得的网络训练权重参数构建基于结构信息嵌入和注意力机制的数字图像修复模型，并以该图像修复模型对图像数据集中的测试集和掩码数据集中的测试集组成的破损图像进行修复补全，获得修复后的图像和补全的平滑图像；所述结构信息判别器为SN-PatchGAN，从前至后设置5个带光谱正则化层和激活函数层的卷积层，前4个卷积层采用LeakyReLU激活，最后一个卷积层采用sigmoid激活；所述生成器以U-Net架构为基础模型并从前至后依次设置2个结构信息修复及嵌入编码层、6个部分卷积编码层、转置卷积层、5个部分反卷积解码层、像素级注意力层、1个部分反卷积解码层、2个结构信息修复及嵌入解码层、瓶颈层和卷积层；所述结构信息修复及嵌入编码层从前至后包括结构生成层、部分卷积层、批次归一化层、ReLU激活函数层，其中，结构生成层由部分卷积层、瓶颈层和1*1卷积层组成；所述6个部分卷积编码层均由部分卷积层、ReLU激活层、批次归一化层组成，其依次对特征进行下采样，但后4个部分卷积编码层保持512个通道数不变；所述6个部分反卷积解码层由部分卷积层、转置卷积层、Leaky激活层、批次归一化层组成，其依次对上一层特征和跳跃连接的编码层特征共同级联的复杂特征进行上采样；所述2个结构信息修复及嵌入解码层的第一个从前至后包括结构生成层、部分卷积层、转置卷积层、批次归一化层、Leaky激活函数层，其中，结构生成层由部分卷积层、瓶颈层和1*1卷积层组成；所述2个结构信息修复及嵌入解码层的第二个从前至后包括结构生成层、部分卷积层，其中，结构生成层由部分卷积层、瓶颈层和1*1卷积层组成；所述像素级注意力层通过像素级上下文注意力层重建缺失部分，并将注意力层输出特征与输入特征在通道维级联，再输入挤压提取模块获取注意力层输出特征与输入特征的通道权重并通过1*1卷积层进行自适应特征融合；步骤S4中所述联合损失包含孔内重建损失Lhole、有效区域重建损失Lvalid、感知损失Lperceptual、风格损失Lstyle、变分损失Ltv、结构对抗损失具体计算如下：1孔内重建损失Lhole衡量掩码区域内生成图像Iout与真实图像Igt像素差异性，采用L1距离度量：Lhole＝E[Iout-Igt⊙1-M1]，其中E为数学期望；M为掩码图像；2有效区域重建损失Lvalid衡量非掩码区域生成图像与真实图像像素差异性，采用L1距离度量：Lvalid＝E[Iout-Igt⊙M1]3感知损失Lperceptual度量生成图像与真实图像在预训练VGG16网络的池化层提取的特征图距离： 式中，表示生成图像或真实图像在VGG16网络第i个池化层输出的特征图，Hi、Wi、Ci为特征图的高、宽、通道，N为选取的池化层数；4风格损失Lstyle度量生成图像与真实图像在预训练VGG16网络池化层提取的特征图协方差距离： 其中表示Gram矩阵，T表示对矩阵求转置；5变分损失Ltv衡量修复图像相邻像素差异性，用L1距离度量： 其中mx,y表示位置x,y处的像素；6结构对抗损失判别利用2个结构信息修复及嵌入解码层修复生成的边缘保留平滑图像Sout与利用真实图像提取的边缘保留平滑图像Sgt的真伪，采用铰链形式的对抗损失以应对梯度消失等问题，对于每层损失包括对于判别器D的对抗损失LD和对于生成器G的对抗损失LG： 其中pdata、pz分别为Sout和Sgt的概率分布情况，ReLU为ReLU激活函数；7联合损失Ljoint为： 式中，λhole、λvalid、λperceptual、λstyle、λtv、λadv为损失项权重超参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西南石油大学，其通讯地址为：610000 四川省成都市新都区新都大道8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。