买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:紫光摩度教育科技有限公司
摘要:本发明提供一种数字人全息互动方法及系统,包括离散化目标三维对象所在的三维包围盒,基于各个体素建立目标生成网格场景;获取三维人体网格数据的多视角相机参数,并得到若干多视角RGB彩色图片;将非刚性变形表示应用在目标生成网格场景上,得到人体模型;将模板人脸网格非刚性注册到人脸表情模型,基于人脸矫正数据构建人脸模型,通过神经辐射场渲染人体模型以及人脸模型;根据运动位置以及运动链模型刻画人体模型的人体运动方式;将情感对话回复模型与人体模型结合。本发明能够构建真实的数字人,并且能够较为真实的与人进行互动。
主权项:1.一种数字人全息互动方法,其特征在于,所述方法包括:离散化目标三维对象所在的三维包围盒,记录离散化后所述三维包围盒中的各个体素,基于各个所述体素建立目标生成网格场景,并建立用于颜色渲染的神经辐射场;收集带纹理颜色的三维人体网格数据,并获取所述三维人体网格数据的多视角相机参数,基于所述多视角相机参数对所述三维人体网格数据进行渲染,以得到若干多视角RGB彩色图片;转换若干所述多视角RGB彩色图片以得到基准模型,提取所述基准模型中对应的基准网格,并基于所述基准网格构建非刚性变形表示,将所述非刚性变形表示应用在所述目标生成网格场景上,以得到人体模型;收集若干人脸表情模型,并设计模板人脸网格,将所述模板人脸网格非刚性注册到所述人脸表情模型,以获得三维人脸数据,将所述三维人脸数据进行矫正,以得到人脸矫正数据,基于所述人脸矫正数据构建人脸模型,并通过所述神经辐射场渲染所述人体模型以及所述人脸模型;基于所述人体模型生成人体骨骼模型,并遍历所述骨骼模型中的骨骼链,以得到所述骨骼模型中的骨骼的运动位置,根据所述运动位置以及运动链模型刻画所述人体模型的人体运动方式;基于长短期记忆神经网络建立情感对话回复模型,并结合所述情感对话回复模型以及所述人体模型。
全文数据:
权利要求:
百度查询: 紫光摩度教育科技有限公司 一种数字人全息互动方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。