首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

用于3D人体姿态估计的多视角特征融合方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:湖南大学

摘要:本发明公开了用于3D人体姿态估计的多视角特征融合方法及系统,该方法包括:获取需要姿态估计的不同视角的目标图像;将目标图像经过图像预处理后,输入到训练好的MVP‑att姿态估计模型中,输出3D人体姿态估计的结果;所述MVP‑att姿态估计模型通过以下步骤训练得到:通过编码器对多视角输入的多个目标图像分别进行采样,提取得到多个单视图的2D人体姿态表达的深度特征图;输入特征转换模块,实现多视图的深度特征图与相机姿态的解耦;使用基于混合注意力机制的多视角特征融合机制模块从解耦后的深度特征中自动选择有效深度特征,按照视角融合成统一的3D人体姿态表征。本发明能够将任意数量的多视图深度特征聚合成3D人体姿态表征。

主权项:1.一种用于3D人体姿态估计的多视角特征融合方法,其特征在于,包括以下步骤:获取需要姿态估计的不同视角的目标图像;将目标图像经过图像预处理后,输入到训练好的MVP-att姿态估计模型中,输出3D人体姿态估计的结果;所述MVP-att姿态估计模型通过以下步骤训练得到:通过编码器对多视角输入的多个目标图像分别进行采样,提取得到多个单视图的2D人体姿态表达的深度特征图;采用特征转换模块,将相机投影矩阵条件作用于每个深度特征图的图像坐标,映射转换为世界坐标,实现多视图的深度特征图中的深度特征进行标准化以及与相机姿态的解耦;使用基于混合注意力机制的多视角特征融合机制模块从解耦后的深度特征中自动选择有效深度特征,按照视角融合成统一的3D人体姿态表征;所述基于混合注意力机制的多视角特征融合机制模块包括:级联的通道注意力机制单元和单通道局部注意力机制单元;用于对不同特征通道的注意力加权计算、同一特征通道不同局部的注意力加权计算,并依据计算得到的权值,完成对应的特征通道加权求和、同一特征通道局部加权求和,得到每个通道的深度特征的注意力得分;所述自动选择有效深度特征,包括以下步骤:先通过混合注意力机制建模解耦后的深度特征之间的相关性,然后深度学习每个通道的深度特征的注意力得分,自动在不同视角的深度特征集合中选择注意力得分符合要求的深度特征作为有效深度特征。

全文数据:

权利要求:

百度查询: 湖南大学 用于3D人体姿态估计的多视角特征融合方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。