买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明提出了一种基于人‑物互动关系的行为识别方法和系统，所述方法包括：获取人体关节点坐标序列和物体关键点坐标序列，并标准化；构建物体关键点模板坐标序列；计算人‑物运动匹配度和物‑物运动匹配度构建运动匹配度矩阵，指定最大匹配度值对应的关节点为人‑物运动关联关键点构建扩展的人‑物运动关联邻接矩阵；根据扩展的人‑物运动匹配度矩阵和扩展的人‑物运动关联邻接矩阵获得融合的人‑物运动关联邻接矩阵；并用其替换图卷积神经网络中的邻接矩阵，构建人‑物协同图卷积神经网络。可见，所构造的人‑物协同图卷积神经网络能够通过人体关节点与物体关键点坐标序列间的运动关联信息，较好地利用了人‑物互动关系。此外，本发明公开了对应的人‑物协同图卷积神经网络系统。

主权项：1.一种基于人-物互动关系的行为识别方法，其特征在于，包括以下步骤：步骤1：对视频进行人体姿态估计和物体目标检测，获取人体关节点坐标序列和物体关键点坐标序列，并对获取的人体关节点坐标序列和物体关键点坐标序列进行标准化；再对获取的坐标序列进行划分，分为训练集和测试集；步骤2：根据训练集中的标准化后的物体关键点坐标序列构建物体关键点模板坐标序列；步骤3：根据所述标准化后的人体关节点坐标序列和所述物体关键点模板坐标序列计算人-物运动匹配度；步骤4：根据所述标准化后的物体关键点坐标序列和所述物体关键点模板坐标序列计算物-物运动匹配度；步骤5：根据所述人-物运动匹配度构建人-物匹配度矩阵，并指定人-物匹配度矩阵最大运动匹配度对应的关节点作为人-物运动关联关键点；步骤6：将物体关键点视作扩展的人体关节点，根据所述人-物运动关联关键点和所选的人体关节点物理连接关系构建人-物运动关联的邻接矩阵；其中，所选的人体关节点包括扩展的人体关节点和人体关节点，人体关节点物理连接关系是符合人体实际关节点连接的；步骤7：根据所述人-物运动匹配度和物-物运动匹配度构建扩展的人-物运动匹配度矩阵；步骤8：根据所述人-物运动关联的邻接矩阵和所述扩展的人-物运动匹配度矩阵通过融合方法构建融合的人-物运动关联的邻接矩阵；步骤9：使用所述融合的人-物运动关联的邻接矩阵替换图卷积神经网络中的邻接矩阵，构建人-物协同图卷积神经网络；将训练集送入所述行为识别网络进行训练，并得到训练完成的模型；最后将测试集送入训练完成的模型进行行为识别，获得行为识别结果。

全文数据：

权利要求：

百度查询： 重庆理工大学 一种基于人-物互动关系的行为识别方法和系统