恭喜汇智天下(杭州)科技有限公司宋崇国获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜汇智天下(杭州)科技有限公司申请的专利手势交互方法、系统、可读存储介质及计算机获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119376544B 。
龙图腾网通过国家知识产权局官网在2025-04-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411908344.2,技术领域涉及:G06F3/01;该发明授权手势交互方法、系统、可读存储介质及计算机是由宋崇国设计研发完成,并于2024-12-24向国家知识产权局提交的专利申请。
本手势交互方法、系统、可读存储介质及计算机在说明书摘要公布了:本发明提供一种手势交互方法、系统、可读存储介质及计算机,该方法包括:获取用户针对虚拟标记物的视线聚焦区域;对手部图像输入至卷积神经网络模型中进行卷积运算得到卷积特征图像;基于手部图像的手部编码图像进行像素处理,以得到对应的像素特征图像;将多尺度融合单元导入至多分辨率网络模型中进行模型优化得到网络优化模型;将卷积特征图像和像素特征图像输入至网络优化模型中,以输出用户的手部姿态估计结果,并根据手部姿态估计结果与视线聚焦区域进行碰撞判断,以实现用户的手势交互。本发明利用网络优化模型对卷积特征图像和像素特征图像进行姿态估计,减少网络参数量对手部姿态估计的影响,从而降低手部关节点的检测误差。
本发明授权手势交互方法、系统、可读存储介质及计算机在权利要求书中公布了:1.一种手势交互方法,其特征在于,包括:基于3D显示设备所呈现的虚拟标记物,获取用户针对所述虚拟标记物的视线聚焦区域;采集所述用户的手部图像,并对所述手部图像输入至卷积神经网络模型中进行卷积运算,以得到对应的卷积特征图像,其中,采集所述用户的手部图像,并对所述手部图像输入至卷积神经网络模型中进行卷积运算,以得到对应的卷积特征图像的步骤包括:根据手部关节特征,将所采集到的所述用户的手部图像划分为20个关节,分别为指关节以及腕关节,并以每个关节点产生对应的热图,其中,每张热图中置信度最大的点作为对应的关节点的位置,用表示,、表示第个关节点的二维坐标;将各所述热图输入至卷积神经网络模型中进行卷积运算,以使所述热图的分辨率缩小四分之一,以得到对应的卷积特征图像;对所述手部图像进行坐标编码得到手部编码图像,并基于所述手部编码图像进行像素处理,以得到对应的像素特征图像,其中,对所述手部图像进行坐标编码得到手部编码图像,并基于所述手部编码图像进行像素处理,以得到对应的像素特征图像的步骤包括:对所述手部图像的2D坐标,在数据预处理时对其进行转换,以得到对应的非量化坐标: ;式中,表示下采样率;将所述非量化坐标生成对应的特征图,以降低量化坐标的量化误差,提升网络模型对手部关节点坐标的学习的精准度: ;式中,、表示特征图中的任意像素位置,表示方差,表示指数函数;对所述特征图进行像素处理,以计算出所述手部图像中所有关节点的特征信息,其中,定义特征图为,提取特征图的高度、宽度以及通道数,计算出像素到关节点的权重: ;式中,表示卷积变换函数,表示空间归一化;根据关节点的特征进行加权平均: ;式中,表示第个关节点的特征信息,表示第个关节点的特征图,表示卷积转换函数,表示第个关节点的权重矩阵,为的一个元素;定义所述手部图像中所有关节点之间的无向图,输入每个关节点的特征信息,采用图卷积神经网络对关节点之间的依赖关系进行建模,利用矩阵算法对所有关节点特征进行运算,以得到对应的像素特征图像;构建多分辨率网络模型,并将多尺度融合单元导入至所述多分辨率网络模型中进行模型优化,以得到网络优化模型;将所述卷积特征图像和所述像素特征图像输入至所述网络优化模型中,以输出所述用户的手部姿态估计结果,并根据所述手部姿态估计结果与所述视线聚焦区域进行碰撞判断,以实现所述用户的手势交互。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人汇智天下(杭州)科技有限公司,其通讯地址为:310000 浙江省杭州市钱塘区白杨街道科技园路267号国际创博中心三层3328室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。