申请/专利权人：福州大学

申请日：2022-01-07

公开（公告）日：2024-06-28

公开（公告）号：CN114399427B

主分类号：G06T3/04

分类号：G06T3/04;G06N3/044;G06N3/0475;G06N3/094;G06N3/084;G06N3/0455;G06N3/0464

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2022.05.13#实质审查的生效;2022.04.26#公开

摘要：本发明涉及一种基于循环生成对抗网络的字效迁移方法。包括：S1：对数据集进行处理，得到字形图像和字效图像对，并对每幅图像进行预处理，得到训练数据集；S2：设计一个基于循环生成对抗网络的字效风格迁移网络，该网络由字效去除子网和字效迁移子网组成；S3：设计用于训练步骤S2所设计网络的损失函数；S4：使用训练数据集训练基于循环生成对抗网络的字效风格迁移网络；S5：将新的目标字效图像和待迁移的字形图像输入训练好的字效迁移网络，输出字效迁移后具有目标字效的图像。本发明能实现字效风格迁移，并生成高质量、结构性强的字效迁移图像。

主权项：1.一种基于循环生成对抗网络的字效迁移方法，其特征在于，包括以下步骤：步骤S1、对数据集进行处理，得到字形图像和字效图像对，并对每幅图像进行预处理，得到训练数据集；步骤S2、设计一个基于循环生成对抗网络的字效风格迁移网络，该网络由字效去除子网和字效迁移子网组成；步骤S3、设计用于训练步骤S2所设计网络的损失函数；步骤S4、使用训练数据集训练基于循环生成对抗网络的字效风格迁移网络；步骤S5、将新的目标字效图像和待迁移的字形图像输入训练好的字效风格迁移网络，输出字效迁移后具有目标字效的图像；所述步骤S1具体实现如下：步骤S11、原始输入数据集中的每张图像都由尺寸相同字形图像和字效图像组成，将数据集中的每幅图像分割成相同尺寸的单独的字形图像和字效图像；将来自于同一幅原始图像的字形图像和字效图像组成字形图像和字效图像对；步骤S12、将字形图像和字效图像对的两幅图像做相同的随机翻转并中心剪裁成H×W大小的字形图像和字效图像，保持字形图像和字效图像对关系；步骤S13、将H×W大小的所有字形图像和字效图像进行归一化处理，给定图像Ii，j，计算归一化后的图像的公式如下： 其中，i，j表示像素的位置；所述步骤S2具体实现如下：步骤S21、设计字效去除子网的生成网络和判别网络，使用所设计的网络分别生成字效去除图像和判别图像为真实图像的概率；步骤S22、设计字效迁移子网的生成网络和判别网络，使用所设计的网络分别生成字效迁移图像和判别图像为真实图像的概率；所述步骤S21具体实现如下：步骤S211、设计字效去除子网的生成网络，该生成网络的输入是一个字形图像和字效图像对，其中字形图像用As表示，字效图像用Ae表示；该生成网络由编码器Ex和Ey，共享层S1，生成器G1组成，其中编码器和共享层用于提取图像特征，生成器将特征重建成字效去除图像步骤S212、设计编码器Ey和Ex，它们的输入分别是Ae和As；编码器Ey由五个卷积块组成，每个卷积块由激活层、卷积层、归一化层和注意力模块按序组成；激活层采用LeakyReLU激活函数，卷积层使用卷积核为4×4、步长为2、填充为1的卷积，归一化层使用实例归一化，注意力模块使用卷积注意力模块CBAM；将图像输入编码器Ey后得到的大小为C×H×W的图像特征编码器Ex和编码器Ey具有相同的结构，将图像输入编码器Ex后得到的C×H×W的图像特征步骤S213、设计共享层S1，S1是Unet结构的网络；步骤S212得到的C×H×W大小的特征和都作为共享层S1的输入，记输入为f0，f0依次经过三个和S212中相同的卷积块后分别得到C×H2×W2大小的特征f1、C×H4×W4大小的特征f2和C×H8×W8大小的特征f3；f3通过由激活层、反卷积层、归一化层和注意力模块按序组成的反卷积块得到C×H4×W4大小的特征f4；反卷积块中激活层采用ReLU激活函数，反卷积层使用卷积核为4×4、步长为2、填充为1的反卷积，归一化层使用实例归一化，注意力模块使用卷积注意力模块CBAM；特征f2和特征f4在通道维度上拼接得到2C×H4×W4大小的特征，该特征通过上述反卷积块得到C×H2×W2大小的特征f5；特征f1和特征f5在通道维度上拼接得到2C×H2×W2大小的特征，该特征通过上述反卷积块得到C×H×W大小的特征f6；特征f0和特征f6在通道维度上拼接得到2C×H×W大小的输出特征fs；当输入特征是时，输出特征fs记为当输入特征是时，输出特征fs记为步骤S214、设计生成器G1；生成器G1的输入是步骤S213生成的特征或生成器G1由五个和步骤S213中相同的反卷积块、一个卷积核为3×3、步长为1、填充为1的反卷积层和tanh激活函数组成；每个反卷积块将特征的通道数减小一半，将特征的宽度和高度提升至两倍；当输入特征是时，大小为2C×H×W的特征通过五个反卷积块得到C16×32H×32W大小的特征，最后将这个特征通过反卷积层和tanh激活函数得到3通道、和输入字效图像Ae相同大小的字效去除图像当输入特征是时，大小为2C×H×W的特征通过五个反卷积块得到C16×32H×32W大小的特征，最后将这个特征通过反卷积层和tanh激活函数得到3通道、和输入字形图像As相同大小的字形重构图像步骤S215、设计字效去除子网的判别网络，该判别网络由判别器D1组成，判别器D1采用PatchGAN中马尔可夫判别器的结构；判别器D1由5个由卷积层、实例归一化层、激活层按序组成的卷积块构成，卷积层使用卷积核为4×4、步长为2、填充为1的卷积，归一化层使用实例归一化，激活层使用LeakyReLU激活函数；判别器D1的输入是Ae和在通道维度上拼接得到的结果即虚假样本或Ae和As在通道维度上拼接得到的结果即真实样本，输出是一个N×N×1的张量，其中N＝32，通过这个张量的均值来判断图像为真实图像的概率和计算损失；所述步骤S22具体实现如下：步骤S221、设计字效迁移子网的生成网络，该生成网络的输入是待迁移的字形图像As和目标字效图像Be；该生成网络由编码器Ex、Ez，共享层S2，生成器G2组成，其中编码器和共享层用于提取图像特征，生成器将特征重建成字效迁移图像步骤S222、设计编码器Ez，Ez和步骤S212中编码器Ex和Ey具有相同的结构，将目标字效图像Be输入编码器后得到大小为C×H×W的图像特征步骤S223、设计共享层S2，S2是Unet结构的网络；共享层S2的结构和步骤S213中共享层S1的结构相同，输入特征为步骤S222中编码器输出的大小为C×H×W的特征输出为2C×H×W大小的特征步骤S224、设计生成器G2，生成器G2的结构和步骤S214中生成器G1的结构相同，但输入是共享层S1的输出特征和共享层S2输出特征在通道维度上的拼接特征，特征大小为4C×H×W，输出为3通道且和输入图像Be相同大小的字效迁移图像步骤S225、设计字效迁移子网的判别网络，该判别网络由判别器D2组成，判别器D2采用PatchGAN中马尔可夫判别器的结构，判别器D2和S215中判别器D1的结构相同；判别器D2的输入是As、Be和生成器G2生成的字效迁移图像在通道维度上的拼接即虚假样本或者As、Be和标准字效迁移图像Ae在通道维度上的拼接即真实样本，输出是一个N×N×1的张量，其中N＝32，通过这个张量的均值来判断图像为真实图像的概率和计算损失；所述步骤S3具体实现如下：步骤S31、设计整个网络的总优化目标，优化目标如下： 其中，表示训练图像编码与重建的损失函数，表示训练字效去除子网的损失函数，表示训练字效迁移子网的损失函数，E、G、D分别表示编码器Ex、Ey、Ez、生成器G1、G2、判别器D1、D2；步骤S32、设计训练图像编码与重建的损失函数，的计算公式如下： 其中，x表示字形图像，G1S1Exx表示图像编码与重建后的图像，λrec表示权重，Ex表示编码器Ex，S1表示共享层S1，G1表示生成器G1，||||1是取绝对值操作；步骤S33、设计训练字效去除子网的损失函数，的计算公式如下： 其中，表示特征损失，表示字效去除像素损失，表示字效去除条件对抗性损失，λdfeat，λdpix和λdadv是三部分各自的权重；特征损失指导编码器从字效图像中去除字效，只保留字形信息，λdfeat的计算公式如下： 其中，x表示字形图像，y表示字效图像，Ex和Ey表示两个编码器Ex和Ey，S1表示共享层S1，||||1是取绝对值操作；字效去除像素损失是指导生成器生成更接近内容字形图像的字效去除图像，的计算公式如下： 其中，x表示字形图像，G1表示生成器G1，y表示字效图像，G1S1Eyy表示字效去除后的图像，||||1是取绝对值操作；字效去除条件对抗性损失用来提高生成结果的质量，使生成器能够学会“欺骗”判别器，也使判别器能够辨别真实图像和生成图像，采用WGAN-GP中的条件对抗性损失，的计算公式如下： 其中，λgp是梯度惩罚的权重，是字形图像和生成的字效去除图像融合后的结果，表示的梯度，D1表示判别器D1，的计算公式如下： 其中，ε表示融合权重参数；步骤S34、设计训练字效迁移子网的损失函数，的计算公式如下： 其中，表示字效迁移像素损失，表示字效迁移条件对抗性损失，λspix、λsadv是这两部分各自的权重；字效迁移像素损失是指导生成器生成更接近目标字效图像的图像，的计算公式如下： 其中，x表示字形图像，y表示x对应的、具有目标字效的参考图像，z表示目标字效图像，Ex表示编码器Ex，Ez表示风格编码器Ez，S1和S2分别表示两个共享层S1和S2，G2表示字效图像生成器G2，G2concatS1Exx，S2Ezz表示字效迁移生成的图像；字效迁移条件对抗损失同样采用WGAN-GP中的设计，计算公式如下： 其中，λgp是梯度惩罚的权重，是标准字效图像和生成的字效图像融合后的结果，表示的梯度，D2表示判别器D2，的计算公式如下： 其中，ε表示融合权重参数；所述步骤S4具体实现如下：步骤S41、从数据集中随机选取两对具有相同字效的图像对，第一个图像对的字形图像和字效图像分别记为As和Ae，第二个图像对的字形图像和字效图像分别记为Bs和Be；步骤S42、训练图像编码与重建；输入字形图像As，通过编码器Ex、共享层S1和生成器G1，生成编码与重建后的图像并计算步骤S32中的损失，使用反向传播方法计算Ex、S1和G1中各参数的梯度，并利用Adam优化方法更新参数；步骤S43、训练字效去除子网的判别网络；输入字效图像Ae，通过编码器Ey、共享层S1和生成器G1得到字效去除图像计算字效去除条件对抗性损失使用反向传播方法计算判别器D1中各参数的梯度，并利用Adam优化方法更新参数；步骤S44、训练字效去除子网的生成网络；输入字效图像Ae，通过编码器Ey、共享层S1得到特征S1EyAe，再通过生成器G1得到字效去除图像输入字形图像As，通过编码器Ex、共享层S1得到特征S1ExAs；计算字效去除子网的总损失函数使用反向传播方法计算Ey、S1和G1中各参数的梯度，并利用Adam优化方法更新参数；步骤S45、分两个阶段训练字效迁移子网，每个阶段都要训练字效迁移子网的判别网络和生成网络；字效迁移子网的判别网络第一阶段；输入字形图像As，通过编码器Ex、共享层S1得到特征输入字效图像Be，通过编码器Ez、共享层S2得到特征将和在通道维度上连接作为生成器G2的输入，生成字效迁移图像计算字效迁移条件对抗性损失使用反向传播方法计算判别器D2中各参数的梯度，并利用Adam优化方法更新参数；训练字效迁移子网的生成网络第一阶段；输入图像和训练判别网络时相同，生成字效迁移图像计算字效迁移子网的总损失函数使用反向传播方法计算Ex、Ez、S1、S2和G2中各参数的梯度，并利用Adam优化方法更新参数；步骤S46、训练字效迁移子网的判别网络第二阶段；输入字形图像Bs，通过编码器Ex、共享层S1得到特征输入步骤S45生成的字效迁移图像通过编码器Ez、共享层S2得到特征将和在通道维度上连接作为生成器G2的输入，生成字效迁移图像计算字效迁移条件对抗性损失使用反向传播方法计算判别器D2中各参数的梯度，并利用Adam优化方法更新参数；训练字效迁移子网的生成网络第二阶段；输入图像和训练判别器时相同，生成字效迁移图像计算字效迁移子网的总损失函数使用反向传播方法计算Ex、Ez、S1、S2和G2中各参数的梯度，并利用Adam优化方法更新参数；步骤S47、以上步骤为针对两对图像对的完整的一次迭代，整个训练过程需要两百五十次迭代，且每次迭代过程中，随机采样多个具有两对相同字效的图像对作为一个批次进行训练，前一百次迭代不进行步骤S46第二阶段的训练，剩下的一百五十次迭代进行所有步骤的训练。

全文数据：

权利要求：

百度查询： 福州大学 一种基于循环生成对抗网络的字效迁移方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD