申请/专利权人：北京大学

申请日：2021-12-22

公开（公告）日：2024-06-18

公开（公告）号：CN114283181B

主分类号：G06T7/49

分类号：G06T7/49;G06T9/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2022.04.22#实质审查的生效;2022.04.05#公开

摘要：本发明公布了一种基于样例的动态纹理迁移方法及系统，将单样本动态纹理迁移任务分解为两个阶段；其中，第一阶段合成具有所需动态纹理的目标视频的起始帧；在第二阶段，将合成图像分解为结构无关的纹理图块，根据纹理图块，利用图像离散化隐空间表示算法VQ‑VAE的Transformers模型来生成长离散序列，并预测相应的后续纹理图块；再采用高斯加权平均合并策略将纹理图块平滑地组合到目标样式化视频的每一帧中，输出自动生成的目标动态特效视频，由此实现动态纹理迁移。本发明将视频样例的动态效果自动转换为目标形状或图像，显著提高动态纹理的设计效率，能够处理仅有一个样例的迁移任务，还可保留精细纹理的细节。

主权项：1.一种基于样例的动态纹理迁移方法，将单样本动态纹理迁移任务进行分解，首先合成具有所需动态纹理的目标视频的起始帧；然后将合成图像分解为结构无关的纹理图块，根据纹理图块，利用图像离散化隐空间表示算法VQ-VAE的Transformer模型来生成长离散序列，并预测目标视频初始帧相应的后续纹理图块；再采用高斯加权平均合并策略将预测解码得到的目标视频纹理图块平滑地组合到目标风格化视频的每一帧中，输出自动生成的目标动态特效视频，由此实现动态纹理迁移；包括以下步骤：第一步，输入一组样例，包含源语义图、源动态特效字和目标语义图；第二步，搜索源动态特效字和目标视频初始帧的公共最近邻场NNF，生成目标视频初始帧；包括如下步骤：21分别根据源语义图和目标语义图计算源距离图和目标距离图，其中距离为计算得到每个像素和文本轮廓之间的归一化距离；22利用PatchMatch算法，通过在源语义图和目标语义图的轮廓内和轮廓附近增强纹理连续性，找到最相似、距离最小的最优匹配，保证目标视频初始帧的空间一致性；在PatchMatch的传播步骤中，通过已计算出的源距离图和目标距离图作为传播引导信息，使纹理效果从文本轮廓向外扩散传播，得到公共近邻场NNF；23根据得到的公共近邻场NNF以及源动态特效字起始帧，生成目标视频起始帧；第三步，将图像离散化隐空间表示算法VQ-VAE改进为小规模版本图像离散化隐空间表示算法；使用改进后算法从源动态特效字中学习纹理图块，并将纹理图块压缩为紧凑的离散化隐空间表示，即编码字典索引；包括：31将源动态特效字和目标视频起始帧中的每一帧切分为重叠的图块，即将输入图像分解为结构无关的图块，并在后面的过程中独立处理，从而使得模型学习视频的纹理信息而忽略结构信息；同时通过数据增强产生神经网络模型的训练数据；32图块为重叠的，使得模型学习到相邻区域之间的连续性，并鼓励模型生成平滑的结果；33使用图像离散化隐空间表示算法VQ-VAE的Transformer来预测长时间的后续图块序列需要学习的编码字典，有效地压缩图块；34使用VQ-VAE从源动态特效字中学习纹理图块，并将图块压缩为紧凑的隐空间索引，即编码字典条目索引；35在源动态特效字所有帧的纹理图块上训练VQ-VAE的编码器和解码器，再根据编码字典条目索引表示图块；包括如下过程：给定一个图块x，将x的编码字典索引表示为Ix；Ix中的元素是编码字典中与Zq相关的所有元素中最接近的条目；将Ix映射到Zq，然后通过解码器解码Zq恢复图块x；在后续步骤中，以相同的方式恢复预测的后续图块索引序列；利用VQ-VAE将图块编码为隐空间索引，实现高效的长序列预测：包括利用VQ-VAE从结构无关的图块中学习纹理信息，将图块表示为高质量的隐空间索引，并通过对隐空间索引的操作生成新的图块；通过VQ-VAE将图块图像转换为隐空间索引实现高压缩率，降低深度序列预测负担，从而实现长序列预测；第四步，利用Transformer预测后续可能的离散化隐空间表示序列；在训练阶段，将后续序列的图块索引连接成一个长序列作为目标序列，得到训练好的Transformer模型；预测阶段具体是将初始帧图块的索引馈入Transformer模型，然后输出目标视频后续图块序列的预测索引；每个合成图像图块模仿从源图块学习到的纹理变化，同时隐式地获取运动特性；第五步，在获得后续序列中的预测图块索引之后，使用训练好的VQ-VAE的解码器对预测的图块索引进行解码，并将其分配给相应的帧，形成目标视频；通过上述步骤，即实现基于样例的动态纹理迁移。

全文数据：

权利要求：

百度查询： 北京大学 一种基于样例的动态纹理迁移方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD