买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京电影学院

摘要：本发明公开了一种基于深度对抗网络的视频‑动画风格迁移方法。使用本发明能够从无配对、仅含风格标签的训练数据中学习，能迁移从未见过的新风格。本发明采用生成‑对抗网络，通过内容编码器和风格编码器实现动作片段的动作内容和动作风格解耦，通过解码器进行动作内容、风格匹配，并利用判别器对匹配结果的风格包括真实性、动作内容进行判断，进而完成风格迁移。该方法能在无配对的数据上训练，且风格编码器具有一般性，能够迁移全新的风格，此外，该方法能绕过三维重建，直接从二维视频中提取风格，迁移到三维动作上，大大拓展了动作风格迁移的应用范围。

主权项：1.一种基于深度对抗网络的视频-动画风格迁移方法，其特征在于，包括如下步骤：步骤1，构建生成-对抗网络；其中，生成-对抗网络包括生成器和判别器，生成器包括内容编码器EC、风格编码器ES和解码器F；内容编码器EC包含实例归一化的一维时序卷积层和实例归一化的残差卷积层，将输入的内容动作片段ms编码为包含时序信息的内容向量zc；风格编码器ES包含2个一维时序卷积层和一个池化层，将输入的风格动作片段nt编码为不含时序信息的固定长度的风格向量zs；其中，风格编码器ES包括二维风格编码器和三维风格编码器，分别接收并编码二维风格动作片段和三维风格动作片段；解码器F包含AdaIN层、残差卷积层、上采样层和无激活函数的卷积层，对内容向量zc进行卷积与上采样，并利用AdaIN层注入风格向量zs的信息，得到风格迁移后的动作片段mt＝FECms|ESnt；判别器判别动作片段mt的动作是否属于风格t的真实动作；步骤2，分别以“Ladv”与“Lcon+αadvLadv+αjointLjoint+αtripLtrip”为损失函数，交替训练步骤1构建的生成器和判别器，得到训练好的生成-对抗网络；其中，Ladv为对抗损失函数：对于输入内容动作片段ms、风格动作片段nt，判别器D希望最大化对真实片段nt的评分Dtnt，最小化对生成器输出片段的评分DtFECms|ESnt；生成器G希望最大化对其输出片段的评分DtFECms|ESnt； 其中，E表示期望；M为训练集，DtFECms|ESnt为判别器对生成器输出片段的评分；F为解码器，EC为内容编码器、ES为风格编码器；Lcon为内容一致性损失函数：当内容输入为ms、风格输入为ns，与内容输入具有相同风格时，生成器应当重建内容输入ms； 其中，E表示期望；M为训练集，FECms|ESns为生成器的输出；EC为内容编码器、ES为风格编码器；Ltrip为风格三元组损失函数：标签相同的动作对应风格向量之间距离至少比标签不同的动作对应风格向量之间的距离小设定值；其特征在于， 其中，E表示期望，nt,xt为两个风格为t的动作片段，ws为风格为s的动作片段，ES表示风格编码器，||ESnt-ESxt||为两个相同风格动作片段的编码之间的距离，为两个不同风格动作片段的编码之间的距离，δ为设定的距离阈值；最外层的[]+函数在变量取值为负数、即相同风格动作片段的编码间距离比不同风格动作片段的编码间距离至少小δ时，函数取值为0；在变量取值为正数时，取值为变量本身；Ljoint为二维-三维共享嵌入损失函数：将三维动作nt投影为二维动作Pnt；p，希望ES2D,ES3D将Pnt；p,nt映射为同一个风格向量； 其中，E表示期望，M为训练集，nt为风格动作片段，ES3D为三维风格编码器，ES2D为二维风格编码器，P为一个投影算子，Pnt；p为三维动作nt根据投影参数p向二维的投影；ES3Dnt,ES2DPnt；p分别为三维风格编码器对三维动作的编码、二维风格编码器对投影后二维动作的编码；αadv、αjoint、αtrip分别为对应损失函数的权重；步骤3，将待迁移风格的内容动作片段和拟采用风格的风格动作片段输入训练好的生成器，实现风格迁移。

全文数据：

权利要求：

百度查询： 北京电影学院 基于深度对抗网络的视频-动画风格迁移方法