买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京汇畅数宇科技发展有限公司

摘要：本发明涉及图像处理技术领域，具体涉及基于AI模型的人脸风格化处理方法、装置及计算机设备，包括以下步骤：根据第一人脸图像和一组目标风格，通过第二AI模型在第二人脸视频中的每个视频帧时序处进行权重确定，得到每个视频帧时序处的风格权重；根据一组目标风格和每个视频帧时序处的风格权重，通过第一AI模型对第一人脸图像在第二人脸视频中的各个视频帧时序处进行风格化处理，得到第三人脸视频。本发明提出利用风格权重对各个目标风格进行组合，将动态视频中不同时序处的人像风格进行融合，生成具有多重风格元素的人脸图像，实现静态图像的动态化风格处理，而且构建第二AI模型自适应地确定每个风格的权重，从而实现不同风格之间的平衡和融合。

主权项：1.一种基于AI模型的人脸风格化处理方法，其特征在于：包括以下步骤：获取第一人脸图像，以及第二人脸视频，所述第二人脸视频包含依视频帧时序连续排列的一组第二人脸视频帧，所述第一人脸图像为待风格化处理的原始人脸图像，所述第二人脸视频帧为包含第一人脸图像风格化处理的目标风格的参考人脸图像；根据一组第二人脸视频帧，通过第一AI模型进行风格化编码，得到一组目标风格，所述目标风格对应于风格编码，所述第一AI模型对应于StarGAN风格化处理模型；根据第一人脸图像和一组目标风格，通过第二AI模型在第二人脸视频中的每个视频帧时序处进行权重确定，得到每个视频帧时序处的风格权重，所述风格权重对应于第一人脸图像中各个目标风格的融合权重，所述第二AI模型对应于表征第一人脸图像和目标风格与风格权重间映射关系的神经网络；根据一组目标风格和每个视频帧时序处的风格权重，通过第一AI模型对第一人脸图像在第二人脸视频中的各个视频帧时序处进行风格化处理，得到第三人脸视频，所述第三人脸视频由各个视频帧时序处的第三人脸图像依视频帧时序排列而成，所述第三人脸图像对应于经目标风格进行风格化处理后的第一人脸图像；根据第一人脸图像和一组目标风格，通过第二AI模型在第二人脸视频中的每个视频帧时序处进行权重确定，得到每个视频帧时序处的风格权重，包括：将第一人脸图像和一组目标风格，以及第二人脸视频中的每个视频帧时序，依次输入至第二AI模型中，得到每个视频帧时序处的各个目标风格的风格权重；其中，所述第二AI模型的构建，包括：在样本图像库中随机选取两组样本图像分别作为第一样本图像和第二样本图像；获取每个第二样本图像的目标风格，得到一组样本风格；对每个第一样本图像随机设定出一组样本风格的多组风格权重，得到每个第一样本图像的多组样本权重；对每个第一样本图像，利用多组样本权重将一组样本风格进行风格融合，得到每个第一样本图像的多组风格化处理图像；在每个第一样本图像中，将风格权重作为CNN神经网络的输入项，将第一样本图像的风格化处理图像作为CNN神经网络的输出项，利用CNN神经网络对CNN神经网络的输入项和CNN神经网络的输出项进行深度学习，得到风格化处理结果预测网络，其中，所述风格化处理结果预测网络的表达式为：g=CNNG,{W1,W2,W3,…,Wn}；式中，g为第一样本图像的风格化处理图像，G为第一样本图像，W1为第1种目标风格的风格权重，W2为第2种目标风格的风格权重，W3为第3种目标风格的风格权重，Wn为第n种目标风格的风格权重，n为目标风格的总数量，CNN为CNN神经网络；在每个第一样本图像中，利用风格化处理结果预测模型对风格权重所有组合进行逐一运算，得到风格权重所有组合的风格化处理图像；将最优风格化处理图像对应的风格权重作为第一样本图像的最优静态风格权重；将第一样本图像和样本风格作为第二CNN神经网络的输入项，将最优静态风格权重作为第二CNN神经网络的输出项，利用第二CNN神经网络对第二CNN神经网络的输入项和第二CNN神经网络的输出项进行深度学习，得到静态权重预测网络，其中，所述静态权重预测网络的表达式为：{W1best1,W2best1,W3best1,…,Wnbest1}=CNN2G,{F1,F2,F3,…,Fn}；式中，W1best1为第1种目标风格的风格权重的最优静态风格权重，W2best1为第2种目标风格的风格权重的最优静态风格权重，W3best1为第3种目标风格的风格权重的最优静态风格权重，Wnbest1为第n种目标风格的风格权重的最优静态风格权重，n为目标风格的总数量，G为第一样本图像，F1为第1种目标风格，F2为第2种目标风格，F3为第3种目标风格，Fn为第n种目标风格，CNN2为第二CNN神经网络；利用静态权重预测模型结合多目标优化算法获取第一人脸图像在每个视频帧时序处的最优动态风格权重；将第一人脸图像和一组目标风格作为第三CNN神经网络的输入项，将最优动态风格权重作为第三CNN神经网络的输出项，利用第三CNN神经网络对第三CNN神经网络的输入项和第三CNN神经网络的输出项进行深度学习，得到动态权重预测网络，其中，所述动态权重预测网络的表达式为：{W1best2,W2best2,W3best2,…,Wnbest2}=CNN3G2,{F1,F2,F3,…,Fn}；式中，W1best2为第1种目标风格的风格权重的最优动态风格权重，W2best2为第2种目标风格的风格权重的最优动态风格权重，W3best2为第3种目标风格的风格权重的最优动态风格权重，Wnbest2为第n种目标风格的风格权重的最优动态风格权重，n为目标风格的总数量，G2为第一人脸图像，F1为第1种目标风格，F2为第2种目标风格，F3为第3种目标风格，Fn为第n种目标风格，CNN3为第三CNN神经网络；所述最优风格化处理图像的确定，包括：将各个风格化处理图像与第一样本图像的风格特征和内容特征进行比较，其中，将与第一样本图像的风格特征相似度最小，且与第一样本图像的内容特征相似度最大对应的风格化处理图像作为第一样本图像的最优风格化处理图像；所述最优动态风格权重的确定，包括：利用静态权重预测模型获得第一人脸图像在每个视频帧时序处的最优静态风格权重；设定第一动态目标，所述第一动态目标对应于经动态风格权重进行风格化处理后的第一人脸图像在相邻视频帧时序间风格特征变化程度最小化，所述第一动态目标的表达式为： ；式中，K1为第一动态目标，min为最小化运算符，sim为相似度运算符，G3Ht为经动态风格权重进行风格化处理后的第一人脸图像在第t个视频帧时序处的风格特征，G3Ht+1为经动态风格权重进行风格化处理后的第一人脸图像在第t+1个视频帧时序处的风格特征，m为视频帧时序的总数量，simG3Ht,G3Ht+1为G3Ht和G3Ht+1间的相似度，t为计数变量；设定第二动态目标，所述第二动态目标对应于经动态风格权重进行风格化处理后的第一人脸视频在相邻视频帧时序间内容特征变化程度最大化，所述第二动态目标的表达式为： ；式中，K2为第二动态目标，max为最小化运算符，sim为相似度运算符，G3St为经动态风格权重进行风格化处理后的第一人脸图像在第t个视频帧时序处的内容特征，G3St+1为经动态风格权重进行风格化处理后的第一人脸图像在第t+1个视频帧时序处的内容特征，m为视频帧时序的总数量，simG3St,G3St+1为G3St和G3St+1间的相似度，t为计数变量；G3为经动态风格权重{W12,W22,W32,…,Wn2}进行风格化处理后的第一人脸图像，W12为第1种目标风格的风格权重的动态风格权重，W22为第2种目标风格的风格权重的动态风格权重，W32为第3种目标风格的风格权重的动态风格权重，Wn2为第n种目标风格的风格权重的动态风格权重，n为目标风格的总数量；将最优静态风格权重作为求解约束条件，对第一动态目标和第二动态目标进行求解，得到动态风格权重{W12,W22,W32,…,Wn2}的最优解；将动态风格权重{W12,W22,W32,…,Wn2}的最优解作为第一人脸图像在每个视频帧时序处进行风格化处理的最优动态风格权重{W1best2,W2best2,W3best2,…,Wnbest2}。

全文数据：

权利要求：

百度查询： 北京汇畅数宇科技发展有限公司 基于AI模型的人脸风格化处理方法、装置及计算机设备