买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜天津大学申请的专利一种基于骨架提取及对抗学习的汉字图像修复算法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114742714B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111267383.5，技术领域涉及：G06T5/77；该发明授权一种基于骨架提取及对抗学习的汉字图像修复算法是由潘刚;潘香羽;王家豪设计研发完成，并于2021-10-29向国家知识产权局提交的专利申请。

本一种基于骨架提取及对抗学习的汉字图像修复算法在说明书摘要公布了：本发明涉及一种基于骨架提取及对抗学习的汉字图像修复方法，包括：使用基于线条细化的骨架提取网络对汉字图像数据集进行处理，生成对应的文字骨架图像数据集，并使用随机遮罩图像进行处理，然后将成对的汉字图像及其文字骨架图像进行训练集和测试集的划分；构建汉字图像骨架提取及修复网络模型，分批次地使用创建的文字骨架图像数据集对网络模型进行训练，使得该网络具备从缺损汉字图像中提取完整文字骨架图像的能力；构建基于文字骨架的汉字图像修复网络模型，使用之前提取到的完整文字骨架图像作为先验知识指导汉字图像的修复过程；使用训练过程中所保存的模型，对之前创建的测试集中的图像进行测试。采用本发明所述方法，可以实现不需要提前知道遮罩信息的汉字图像修复任务，并且相较于其他修复算法，可以得到笔画更加清晰的汉字图像修复结果。

本发明授权一种基于骨架提取及对抗学习的汉字图像修复算法在权利要求书中公布了：1.一种基于骨架提取及对抗学习的汉字图像修复算法，具体包括下列五个步骤：步骤1：使用随机生成的成对线条图像来训练一个基于线条细化的骨架提取网络，并用于制作汉字图像及其文字骨架图像数据集，该步骤可分为以下三小步；i制作随机线条图像对，使用直线、圆形和矩形来生成随机线条，用于模拟汉字中的横平竖直以及撇捺；作为输入的线条图像分辨率为128×128像素，线条宽度1到20像素，目标线条图像中线条均为2像素；生成用于训练骨架提取网络的线条对数据集共5000张；ii执行骨架提取网络的训练操作，使用上一个小步生成数据来训练一个对抗学习网络；网络中生成器G采用长卷积的模式，共32层，包含11个卷积块，前10个卷积块都遵循Conv-BatchNorm-ReLU架构，第一层沿着边缘额外填充四层像素“0”，即填充大小为4，卷积核大小9×9，步长为1，这一层是为了扩大卷积的感受野，以保留图像的全局特征并增强网络的适用性；后面9个卷积块不减小图像尺寸也不改变通道数，特征图尺寸保持不变，通道数维持在64，每个卷积层沿着边缘额外填充一层像素“0”，即填充大小为1，卷积核大小3×3，步长为1；最后一层使用Sigmoid激活函数将结果映射回0，1的范围内；为了生成更加清晰的骨架图像，采用二值分类判别器D来判别图像的真假，判别器使用Conv-BatchNorm-LeakyReLu架构；iii使用训练后的骨架提取网络处理汉字图像来制作文字骨架图像数据集；步骤2：使用对抗学习的思想，使用上一个步骤中生成的汉字图像及其文字骨架图像数据集，训练一个汉字图像骨架提取及修复网络SRGAN，该网络的输入是缺损的汉字图像，经过该网络模型的处理后，生成一个完整的文字骨架图像；该网络整体为生成对抗学习网络，生成器Gr的编码器部分称作E，由4个卷积块φ组成，表示为其中每个卷积块φ都具有相同的结构含两个部分卷积块每个部分卷积块都遵循Conv-BatchNorm-ELU结构；只增加图像的通道数而不减小图像尺寸，使用大小为3×3的卷积核，边缘填充尺寸为1的卷积层，表示为C_3_1_1，使用卷积核大小为2×2，步长为2的卷积层，表示为C_2_0_2来减小特征图尺寸，进一步提取特征；编码器部分的4个卷积块可表示为φ1＝C_3_1_1，C_2_0_2；在编码器部分均使用ELU激活函数来代替ReLU激活函数；在生成器Gr的解码器部分与编码器部分相对称，由4个反卷积块组成，每一块分别连接编码器部分相同尺寸特征图后再进行上采样，使用的是ReLU激活函数，并在最后一层使用Sigmoid激活函数将图像分布映射回0，1，得到最终输出的完整文字骨架图像；在损失函数设计部分，该网络的输入表示为x＝{x1，x2，...xn}，生成网络的目标图像为xgt；设训练批次大小为n，生成器最终输出表示为xpred＝Gx；因为生成器Gr分两个部分，分别执行对缺损文字图像的骨架提取和骨架修复任务，因此需要对两个部分分别设置损失函数，来约束网络相对部分的功能；网络前半部分的输出是一个中间结果表示为其目标图像表示为使用L2范数来强调提到的骨架图像和目标图像之间对应像素之间的差异，公式如下： 生成器Gr的目的从缺损文字图像中提取并修复出完整的文字骨架图像，这里也使用L2损失来计算生成文字骨架图像和真实目标图像之间像素对应位置间的差异，公式如下： 除此之外，生成器Gr还采用了一个感知损失函数引导网络生成在线条连续性特征上更接近目图像的文字骨架图像，公式如下： 其中||·||1表示L1范数，βl表示每一项对总损失的贡献权重，φ表示预训练的VGG19网络，而φl则表示获取VGG19网络中从第1个卷积块到第l个卷积块累计计算后输出的特征图像；因为在实际的使用过程中，生成对抗网络GAN的表现会与理论上存在一些差距，如果只使用传统的GAN损失函数，会导致整体网络的训练不稳定，造成生成的文字骨架图像笔划模糊的问题，因此加入了上述的感知损失函数用于稳定训练；而对于GAN损失函数，给定判别器Dr，该函数的公式如下： 网络整体优化的目标函数方程式公式如下： 这里对每一项使用不同的权重及λadv分别设置为0.05、1.2、0.5、0.1；步骤3：使用缺损的汉字图像及上一个步骤中生成的完整文字骨架图像，训练一个基于对抗学习的汉字图像修复网络SCGAN，该网络通过两个编码器E1和E2分别对文字骨架图像和缺损汉字图像进行特征提取，再使用一个解码器对两种特征进行融合，最终实现汉字图像的修复任务；编码器E2由3个卷积块φ组成，共24层，可表示为即N表示编码器E2中卷积块的数量；每个卷积块中包含两个子块，子块负责在不减小上一层输入特征图尺寸的同时将通道数进行扩展，使用卷核大小为3×3的卷积核进行卷积，边缘填充尺寸为1，步长为1，该卷积层可表示C_3_1_1，子块使用卷积核尺寸2×2，步长为2的卷积层C_2_0_1来进行特征图的下采样，用卷积和ELU激活函数代替传统卷积神经网络中的池化层；这两个子块都使用Conv-BatchNorm-ELU的结构；编码器E1与编码器E2有着相似的网络结构，在层数上略有不同，同时E2使用Instance-NormalizationIN而非Batch-NormalizationBN进行归一化操作；SCGAN网络的损失函数设计与SRGAN类似，包括L2损失和感知损失；设整个网络的输入x＝{x1，x2，...xn，生成网络的目标图像为xgt，由生成器Gr所生成的文字骨架图像表示为网络整体的最终输出表示为生成器Gc通过两个编码器，分别对文字骨架图像和输入缺损文字图像x进行特征的提取，并在解码器部分将来自两个编码器的特征进行混合上采样，最终完成对缺损文字图像的修复任务；使用L2范数即均方误差损失来计算生成的汉字图像与真实目标图像xgt之间对应像素的差异，公式如下： 除此之外，还给生成器Gc增加了一个感知损失来增强细节特征的修复能力，使网络所修复出来的中文字体图像更接近目标图像，公式如下： 其中βl表示每一项对总损失的贡献权重，φ表示预训练的VGG19网络，l是其中卷积块的数量，而φl则表示获取VGG19网络中累计l个卷积块计算后输出的特征图像；DCGAN整体上也采用对抗学习的方式，给定判别器Dc，生成对抗损失公式如下： 基于文字骨架的文字图像在修复网络整体的目标函数公式如下： 这里对每一项使用不同的权重λmse、及λadv分别设置为1.2、1和0.1；步骤4：利用NvidiaGPU，分批次地使用新创建的训练集，对构建的网络模型进行训练，并通过误差反向传播算法对模型进行不断的优化；步骤5：使用训练过程中保存的模型，对新创建的测试集中的图像进行测试。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津大学，其通讯地址为：300072 天津市南开区卫津路92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。