申请/专利权人：哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

申请日：2023-06-19

公开（公告）日：2024-06-28

公开（公告）号：CN116862759B

主分类号：G06T3/04

分类号：G06T3/04;G06V40/16;G06V10/774;G06V10/80;G06V10/84

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2023.10.27#实质审查的生效;2023.10.10#公开

摘要：本发明公开了一种基于生成对抗网络的个性化肖像生成系统及方法，所述个性化肖像生成系统包括反演模块、潜在编码混合模块、合成网络模块、层调节模块、双模型间融合控制模块和多模型间融合控制模块。本发明在保证源图像人脸身份信息的情况下，能够较好的对源图像进行风格化处理，生成风格化肖像。在上述基础上，能够实现对人脸不同粒度特征的风格化强度控制，实现融合的多风格模型风格化人脸源图像，实现根据已有风格模型在无风格参考图像制作个性化训练集的条件下生成新风格的风格化模型。

主权项：1.一种基于生成对抗网络的个性化肖像生成系统，其特征在于所述个性化肖像生成系统包括反演模块、潜在编码混合模块、合成网络模块、层调节模块、双模型间融合控制模块和多模型间融合控制模块，其中：所述反演模块负责获取位于预训练StyleGAN2潜在空间，对应于源图像和风格参考图像的潜在编码；所述潜在编码混合模块负责生成用于微调合成网络模块的潜在编码族；所述合成网络模块负责使用预训练的权重，输入潜在编码族，输出用于训练合成网络的数据集；所述层调节模块负责粗略的进行粒度特征风格化程度控制，通过替换对应分辨率层中的权重和偏移量进行层调节；所述双模型间融合控制模块负责使用微调获得的风格模型和微调前的基础模型进行层权重缩放和推理路径组合，对粒度特征进行精细化控制；所述多模型间融合控制模块负责利用多个微调获得的风格模型，在多个模型间进行层权重缩放和权重线性组合，获得无参考图像对应的新风格化模型；所述潜在编码混合模块分为两个分支，一个是风格分支，一个是噪声分支，风格分支将styleimage作为输入，噪声分支将元素服从标准正态分布的512维列向量Z和originimage作为输入，模块的公式表示如下：w＝1-αM·w2+αI-M·βFCz+1-βw1式中，潜在代码w,wi∈R18×512,i＝1,2，表示用于输入合成网络的风格向量，R18×512表示每个w有18行，每一行有512个元素，每个元素为实数，α为服从均匀分布的缩放系数，β为缩放系数，控制源图像潜在编码和噪声之间的比重，设置于0,1之间，噪声z为512维的列向量，其中的每一个元素都服从标准正态分布，M为18维的掩码；所述双模型间融合控制模块由层调节模块推广而来，为尽可能保留身份信息低分辨率层不参与双模型控制模块的操作，将Pre模型分辨率层中的ToRGB层和两个风格模块卷积权重及偏移量使用缩放系数α进行缩放，将ScaledStyle模型中对应分辨率层中的ToRGB层和两个风格模块中的卷积权重及偏移量使用缩放系数1-α进行缩放，将两缩放结果相加，将相加后的结果作为ToRGB层和两个风格模块中的新卷积权重及偏移量，操作结束后得到新合成网络，用于生成风格肖像，该操作的公式表示如下：Ppre＝αPpre+1-αPstyle i＝r-4,r≤m 式中，m＝9，低分辨率4×4到32×32不做替换处理，由此rswap＝4，N为参数ni的集合，Ppre为使用FFHQ作为训练集的预训练模型，Pstyle模型为迁移学习得到的风格模型；所述多模型间融合控制模块由双模型间控制模块推广而来，将双模型间控制模块中操作后的一个分辨率层作为基本单元，对每个基本单元中的权重及偏移量使用对应的缩放系数进行缩放，然后将缩放后的结果相加得到新卷积权重及偏移量，新卷积权重及偏移量构成对应的分辨率层模块的参数，分辨率层构成合成网络，该模块的公式表示如下：Pres＝xr1Pcstyle1+xr2Pcstyle2+...,+xriPcstylei+... 式中，低分辨率4×4到32×32保留源图像基本身份特征，不做处理，由此rswap＝4，r表示第几层，nri为缩放系数，Pcstylei为提供生成层的第i个融合风格模型层集合，xri中的系数作用于对应的层上。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于生成对抗网络的个性化肖像生成系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD