买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国平安人寿保险股份有限公司

摘要：本发明提供一种基于图像的卡通动画生成方法、装置、设备及存储介质，从模板视频的视频帧中选择一张参考图像作为目标图像，将目标图像与待驱动卡通图像分别划分为不同区域，根据不同区域关键点坐标得到不同区域的变换关系，对移动幅度不同的关键点进行了不同的变换，使关键点得到更准确的移动规律，提高卡通迁移视频的真实性，然后将不同区域的变换关系进行全局变换，得到全局变换关系，根据全局变换关系得到像素运动数据，基于待驱动卡通图像与所述像素运动数据，训练深度学习模型，生成卡通姿态迁移网络，将待驱动卡通图像输入至基于模板视频生成的卡通姿态迁移网络中，得到与模板视频动作姿态误差较小的卡通迁移视频。

主权项：1.一种基于图像的卡通动画生成方法，其特征在于，包括：将待驱动卡通图像输入至基于模板视频生成的卡通姿态迁移网络中，得到卡通迁移视频；其中，所述卡通姿态迁移网络的生成过程包括：从所述模板视频的视频帧中选择一张参考图像作为目标图像，将所述目标图像划分为目标第一区域和目标第二区域，将待驱动卡通图像划分为待驱动第一区域和待驱动第二区域；所述目标第一区域和待驱动第一区域均为人脸区域中包含眼睛的上半部分，所述目标第二区域和待驱动第二区域均为所述人脸区域中包含下颌线的下半部分；检测所述目标图像与所述待驱动卡通图像中的各个关键点，确定所述目标第一区域和待驱动第一区域中的关键点变换关系，以及所述目标第二区域和待驱动第二区域中的关键点变换关系；将所述目标第一区域和待驱动第一区域中的关键点变换关系与所述目标第二区域和待驱动第二区域中的关键点变换关系进行全局变换，得到全局变换关系；将所述待驱动卡通图像与所述全局变换关系输入至预先训练的密集运动估计模型中，获取所述密集运动估计模型输出的像素运动数据；基于所述待驱动卡通图像与所述像素运动数据，训练深度学习模型，生成卡通姿态迁移网络；将所述待驱动卡通图像的卡通迁移视频中对应的视频帧图像与预先得到的语音分别进行编码处理，得到每一帧卡通图像的特征向量和每一帧语音对应的唇形特征向量；将所述每一帧卡通图像的特征向量和每一帧语音对应的唇形特征向量拼接后的特征送入解码器中，生成目标序列图像；所述目标序列图像为包含唇形特征的卡通图像；将所述目标序列图像与所述预先得到的语音进行合成处理，得到卡通动态视频。

全文数据：

权利要求：

百度查询： 中国平安人寿保险股份有限公司 基于图像的卡通动画生成方法、装置、设备及存储介质