申请/专利权人：湖南大学

申请日：2022-04-21

公开（公告）日：2024-06-25

公开（公告）号：CN114663982B

主分类号：G06V40/20

分类号：G06V40/20;G06V40/16;G06V10/80;G06V10/82;G06N3/0442;G06T7/20

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2022.07.12#实质审查的生效;2022.06.24#公开

摘要：本发明公开了一种基于多特征融合的人手轨迹预测与意图识别方法，包括获取人的脸部和肩部关键点数据；获取手掌轨迹数据；将人的脸部和肩部关键点数据输入支持向量机，得到人脸朝向模态信息；将手掌轨迹数据序列输入到SG滤波器，消除轨迹数据波动，得到平滑的轨迹数据；将两种模态信息进行平行融合，得到多模态融合信息；输入到LSTM网络中，输出手掌的预测轨迹。本发明利用部分人脸部关键点提取人脸朝向特征，进一步将人脸朝向特征与人手臂轨迹数据融合，预测人手臂在空间中的移动轨迹和人手臂最终到达位置，高效准确的预测到了移动轨迹。

主权项：1.一种基于多特征融合的人手轨迹预测与意图识别方法，其特征在于包括如下步骤：S1.获取人的脸部和肩部关键点数据；获取手掌轨迹数据；包括利用相机采集包含人脸部关键点的图片信息；利用openpose算法识别出关键点在图片中的像素位置，关键点包括肩中P1、左眼P2和右眼P3；用Pipix-x,Pipix-y表示关键点在图片像素中的位置，其中，i＝1时表示肩中在图片像素中的位置；i＝2表示左眼在图片像素中的位置；i＝3表示右眼在图片像素中的位置；从相机的深度通道信息中读取像素点的深度值Pidep，i＝1,2,3；使用aruco标识码定位技术，将aruco标识码粘贴在人的手掌上，相机采样频率为一秒钟十次，具体包括：当手掌进入设定起始线范围内，开始存储手掌位置，同时识别并存储关键点在图片像素中的位置Pipix-x,Pipix-y和像素点的深度值Pidep；相机进行K次采样，存储K个不同的手掌三维位置数据t1,...,tk,...,tK，tk表示第k个手掌三维位置数据，记为T＝t1,...,tk,...,tK，T为K个不同的手掌三维位置数据集合： 其中，xk表示第k个手掌三维位置数据在图片像素中的位置的横坐标；yk表示第k个手掌三维位置数据在图片像素中的位置的纵坐标；zk表示第k个手掌三维位置数据的像素点的深度值；S2.将人的脸部和肩部关键点数据输入支持向量机，得到人脸朝向模态信息；将手掌轨迹数据序列输入到SG滤波器，消除轨迹数据波动，得到平滑的轨迹数据；包括：将像素位置的二维数据和深度一维数据合并为一个三维异构空间O，该三维异构空间的x轴在数值上等于关键点在图片像素中的位置的横坐标Pipix-x，三维异构空间的y轴在数值上等于关键点在图片像素中的位置的纵坐标Pipix-y，三维异构空间的z轴在数值上等于Pidep，从而将肩中P1映射到三维异构空间O得到肩中映射点O1，将左眼P2映射到三维异构空间O得到左眼映射点O2，右眼P3映射到三维异构空间O得到右眼映射点O3；因此，关键点的坐标Oi为，Oi＝Pipix-x,Pipix-y,Pidep，进一步，得到三点组成平面的法向量V，将人脸朝向划分为由远、中、近三类构成的分类空间，记为：C＝cθ,cβ,cγ，其中，C表示分类空间集合；cθ表示远分类空间；cβ表示中分类空间；cγ表示近分类空间；再将法向量V输入到训练好的支持向量机SVM中，得到法向量V和分类空间集合C之间的映射关系：C＝SVMV，分类空间中数值最大的类别为人脸朝向分类模态信息S，S＝argmaxC，argmax·表示选取集合C中最大值元素的操作；将X输入到SG滤波器进行消抖去噪处理，得到去噪的轨迹数据T'＝t'1,...,t'k,...,t'K；t'k表示去噪后第k个手掌三维位置数据，K表示不同的手掌三维位置数据的总数；S3.将两种模态信息进行平行融合，得到多模态融合信息；包括将两种模态信息平行融合，具体为将轨迹数据中每一个坐标与人脸朝向分类模态信息S进行连接，形成多模态信息M； 其中，t'k表示去噪后第k个手掌三维位置数据，K表示不同的手掌三维位置数据的总数；x'k表示去噪后第k个手掌三维位置数据在图片像素中的位置的横坐标；y'k表示去噪后第k个手掌三维位置数据在图片像素中的位置的纵坐标；z'k表示去噪后第k个手掌三维位置数据的像素点的深度值；S4.输入到LSTM网络中，输出手掌的预测轨迹。

全文数据：

权利要求：

百度查询： 湖南大学 一种基于多特征融合的人手轨迹预测与意图识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD