买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:长城信息股份有限公司
摘要:本发明公开了一种基于随机游走的三维伴言手势实时生成方法、设备及介质。首先收集一定数量的人类短时间说话的人体关键点三维坐标样本。根据样本来源和最大标准差将其分为数个伴言手势群。再在每个群中,通过计算不同样本首尾帧之间的向量距离,生成样本之间的一对多有向连接图。而后搜索输入音频的连续低幅值区域说话停顿处,计算每一段语音的时长;根据每一段语音的时长,利用随机数在有向连接图中选择节点样本及其邻接节点,通过插入过渡帧,最终拼接为与输入音频等时长的人体关键点三维坐标序列。本发明的优势在于,实现成本相较现有技术更低;相对于重复播放录制视频,本发明生成的伴言手势也几乎不存在重复的情况,效果更好。
主权项:1.一种基于随机游走的三维伴言手势实时生成方法,其特征在于,包括以下步骤:步骤一,采集不同人在说话时人体关键点的三维坐标序列,作为不同的样本;步骤二,对所有样本基于来源进行分类,然后再根据每类中各样本三维坐标的变化大小情况来进行分群;步骤三,基于每个群中的样本来生成连接图,其中连接图中每个节点对应一个样本,然后计算各节点之间的向量距离,并将每个节点和与其向量距离最小的前d个节点以有向边连接起来,从而形成一对多的有向连接图;步骤四,采集语音音频,并将音频帧基于语音的停顿划分为全为停顿帧或全为非停顿帧的多个子序列;然后基于语音音频内容、使用场景及需求选择一个群以及相应的有向连接图;步骤五,对每个全为停顿帧的子序列,基于默认姿势人体关键点的人体关键点三维坐标,生成对应的同帧数的人体关键点三维坐标序列;步骤六,对每个全为非停顿帧的子序列,在连接图中,根据样本之间的有向连接,依次随机选取多个节点,并在首节点之前、末节点之后和相邻节点之间加入过渡帧;然后将样本和过渡帧拼接得到与全为非停顿帧的子序列帧数相等的人体关键点三维坐标序列;从而与步骤五的结果一起构成与语音音频相匹配的三维伴言手势。
全文数据:
权利要求:
百度查询: 长城信息股份有限公司 基于随机游走的三维伴言手势实时生成方法、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。