申请/专利权人：北京中科深智科技有限公司

申请日：2023-08-22

公开（公告）日：2024-06-21

公开（公告）号：CN117037255B

主分类号：G06V40/16

分类号：G06V40/16;G06V10/82;G06V10/774;G06V10/776;G06T19/20

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.02.20#著录事项变更;2023.11.28#实质审查的生效;2023.11.10#公开

摘要：基于有向图的3D表情合成方法，包括如下步骤：步骤一：通过视素对齐和聚类的方法在训练数据集自动识别到这个数据集中不同的视素到口型相关的面部权重范围的映射关系；步骤二：对训练数据集中所有的面部权重进行切分得到若干片段，计算任意两段之间过渡的转移损失，使转移损失小于一定阈值的片段之间得以连通，最终得到一个有向图；步骤三：输入测试音频，生成测试音频对应的口型相关的面部权重；步骤四：在步骤二建立的有向图上搜索得到生成的口型对应的口型之外的面部权重，将生成的口型和口型之外的面部权重拼接，平滑得到3D表情。本发明生成的表情直接来源于真实数据集中的片段的拼接，可以保留更多的细节，在真实性和自然度上更有优势。

主权项：1.基于有向图的3D表情合成方法，其特征在于：包括如下步骤：步骤一：通过视素对齐和聚类的方法在训练数据集自动识别到这个数据集中不同的视素到口型相关的面部权重范围的映射关系；步骤二：对训练数据集中所有的面部权重进行切分得到若干片段，计算任意两段之间过渡的转移损失，使转移损失小于一定阈值的片段之间得以连通，最终得到一个有向图；所述的步骤二中对训练数据集中的所有的面部权重按照时间维度进行分割，得到长度不一的若干个面部权重的片段；取决的不同类型的表情数据，分段方式使用等时长加滑动窗口的形式，是通过一定的策略来自动寻找转移损失比较小的点作为分割点；对于两个片段，通过比较第一个片段的最后若干帧面部权重和第二个片段开始的若干帧的面部权重的绝对值和运动趋势，得到转移损失，来表征这两个片段是否可以平滑地过渡；对于等时长加滑动窗口的方式分割得到的片段，需要计算这些片段间的转移损失，如果这两个片段的转移损失小于一个阈值，那么就将这两个片段在图上面连接起来形成一条有向边，以转移损失作为有向边的权重；对于自动寻找转移损失比较小的分割点来进行分割的片段，需要计算面部权重任意位置之间的转移损失，选择低于转移损失阈值的位置作为分割点，按照分割点对面部权重进行分割，然后将分割得到的片段在图上连接起来形成一条有向边，以转移损失作为有向边的权重；这个阈值取所有片段间转移损失从小到大排序的第20百分位数和一个固定值0.5中的较小值；最终就得到了一个以面部权重片段为顶点，以转移损失为边的有向图；步骤三：输入测试音频，生成测试音频对应的口型相关的面部权重；步骤四：通过步骤二的分割方法对步骤三生成的口型相关的面部权重进行分割，然后在步骤二建立的有向图上搜索得到生成的口型对应的口型之外的面部权重，之后将生成的口型和对应的口型之外的面部权重拼接，平滑得到最终3D表情。

全文数据：

权利要求：

百度查询： 北京中科深智科技有限公司 基于有向图的3D表情合成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD