首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

【发明授权】一种基于两阶段的体势-手势整体姿态捕获方法_湖南大学_202210668937.0 

申请/专利权人:湖南大学

申请日:2022-06-14

公开(公告)日:2024-06-18

公开(公告)号:CN114998804B

主分类号:G06V20/40

分类号:G06V20/40;G06V40/10;G06V40/20;G06V10/774;G06V10/25

优先权:

专利状态码:有效-授权

法律状态:2024.06.18#授权;2022.09.20#实质审查的生效;2022.09.02#公开

摘要:本发明公开了一种基于两阶段的体势‑手势整体姿态捕获方法,包括使用单目相机对人体交互动作进行视频采集;将视频数据送入已训练好的人体骨骼提取网络得到人体骨骼序列数据,并根据结果得到人体高度;将人体骨骼序列数据和人体高度送入手部定位模块,得到手部ROI区域结果和对应的图像序列;将手部ROI区域的图像序列送入手部骨骼提取网络,得到手部骨骼序列在ROI区域的数据值;根据手部ROI区域值,将手部骨骼序列在ROI区域的数据值,反映射回原图像中得到手部骨骼序列的真实数据值;最后将人体骨骼序列数据和手部骨骼序列数据在原图像上进行显示,完成体势‑手势骨骼点捕获。系统硬件简易、识别效果好并且实时性高稳定性强。

主权项:1.一种基于两阶段的体势-手势整体姿态捕获方法,其特征在于,所述方法包括以下步骤:步骤S100:使用单目相机对人体交互动作进行视频采集,得到视频数据;步骤S200:将所述视频数据送入已训练好的人体骨骼提取网络,得到人体骨骼序列数据,并根据所述人体骨骼序列得到人体高度值;步骤S300:将所述人体骨骼序列数据和所述人体高度值送入手部定位模块,得到手部定位ROI区域值结果和手部ROI区域的RGB图像序列;步骤S400:将所述手部ROI区域的RGB序列图像送入已训练好的手部骨骼提取网络,得到手部骨骼序列数据;步骤S500:根据所述手部定位ROI区域值,将所述手部骨骼序列数据,反映射回原图像中得到手部骨骼序列数据;步骤S600:根据所述人体骨骼序列数据和所述手部骨骼序列数据结合,在原图像上进行显示得到人体骨骼图像和手部骨骼图像,完成骨骼捕获;所述人体骨骼提取网络为mediapipe网络,步骤S200包括:步骤S210:将采集得到视频数据送入已训练好的人体骨骼提取网络,得到人体骨骼序列数据 其中,P表示人体骨骼序列数据,i表示当前所在骨骼序号,t表示当前所在帧序号,V=33为人体骨骼点总数,T为序列总帧数,x为横轴坐标值,y为纵轴坐标值;步骤S220:根据所述人体骨骼序列数据和预设定的骨骼序号得到头部区域和脚部区域中心点的坐标,根据所述头部区域和脚部区域中心点的坐标,得到人体高度H: 其中,head和foot分别表示头部区域和脚部区域中心点的坐标,xhead,yhead分别表示头部区域中心点的横坐标和纵坐标,xfoot,yfoot分别表示脚部区域中心点的横坐标和纵坐标,1-6为头部区域的骨骼序号,27-32为脚部区域的骨骼序号;步骤S300包括:步骤S310:将所述人体骨骼序列数据和所述人体高度值送入手部定位模块,所述手部定位模块根据所述人体骨骼序列数据和预设定的骨骼序号,分别得到左手区域和右手区域的粗定位坐标序列: 其中,Handleft表示左手区域粗定位坐标序列,Handright表示右手区域粗定位坐标序列,P15171921表示左手区域的手腕小拇指食指大拇指的坐标数据,P16182022表示右手区域的手腕小拇指食指大拇指;步骤S320:将所述左手区域的坐标数据和所述右手区域的坐标数据送入最大最小函数,得到左右两手区域的坐标数据的最大和最小值: 其中,leftrightmax表示左手右手区域坐标数据的最大值,leftrightmin表示左手右手区域坐标数据的最小值,maxmin·表示取最大值或最小值运算;步骤S330:根据所述左手右手区域坐标数据的最大值、所述左手右手区域坐标数据的最小值以及所述人体高度H,得到左右手的ROI区域:ROIleftright=rectangle[point1,point2] 其中:rectangle[·]表示取矩形区域,point1表示矩形区域的左上顶点,point2表示矩形区域的右下顶点,xmax表示左手坐标数据的最大值,ymax表示右手坐标数据的最大值,xmin表示左手坐标数据的最小值,ymin表示右手坐标数据的最小值;步骤S340:获取所述左右手ROI区域内的RGB图像序列;步骤S500包括:步骤S510:获取所述手部骨骼序列数据,其坐标数据值为左右手ROI区域内的坐标值,具体为: 其中,V'=21表示手部骨骼点总数,表示手部骨骼序列数据,分别表示左右手ROI区域内的横坐标和纵坐标值;步骤S520:根据所述左右手ROI区域的矩形区域左上角坐标,对整个手部坐标序列进行映射变换,将坐标从左右手ROI区域内坐标变换为原图像中坐标 经过变换后,手部骨骼数据为原图像中的真实值。

全文数据:

权利要求:

百度查询: 湖南大学 一种基于两阶段的体势-手势整体姿态捕获方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

-相关技术