买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学;青岛科技大学申请的专利基于多模态融合及隐式交互关系学习的群组行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115719510B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211365228.1，技术领域涉及：G06V40/20；该发明授权基于多模态融合及隐式交互关系学习的群组行为识别方法是由邓海刚;刘斯凡;李成伟;邹风山;王传旭设计研发完成，并于2022-11-03向国家知识产权局提交的专利申请。

本基于多模态融合及隐式交互关系学习的群组行为识别方法在说明书摘要公布了：本发明公开一种基于多模态融合及隐式交互关系学习的群组行为识别方法，首先提取人物静态姿态特征和动态光流特征；进行多模态特征融合，得到既包含光流又包含姿态的特征信息表示；基于融合后的特征向量，进行成员交互关系学习，以选择性的提取对行为识别重要的人物，更好地建模人物之间的关系；然后提取包含背景信息的全局特征信息；最后利用全局视野中的场景级别信息差异性的特征，辅助人物级别特征共同进行群组行为识别。本方案通过提取组群中个体行为，建模推理组群成员之间的交互关系最终达到预测群体行为的目的，识别精度高，在群组行为识别领域具有较高的实际应用价值和推广价值。

本发明授权基于多模态融合及隐式交互关系学习的群组行为识别方法在权利要求书中公布了：1.基于多模态融合及隐式交互关系学习的群组行为识别方法，其特征在于，包括以下步骤： 步骤A、动静态双流人物特征提取：基于人物级别特征提取模块提取人物静态姿态特征和动态光流特征，具体的： 对于输入的视频帧，分成三个分支，包括静态分支，动态分支和全局分支；静态分支和动态分支连接至人物级别特征提取模块，全局分支连接至全局特征提取模块，采用双流特征提取的方式丰富个体的特征： 1静态分支主干网络提取人物静态姿态特征：以视频帧中围绕人物的边界框作为姿态估计模型HRNet的输入，预测关键节点； 2动态分支主干网络提取光流动态特征：采用I3D网络中的光流表示，首先将输入序列帧转换为连续的光流帧，然后通过膨胀的3D卷积网络处理堆叠的帧序列，并加入ROIAlign层将坐标投影到框架的特征图上，进而提取输入帧中每个人物边界框的光流特征； 步骤B、多模态特征融合：通过自适应多模态特征融合模块将静态姿态特征和动态光流特征单峰连接后进行卷积压缩得到显著信息的潜在向量，首先将单个单峰特征连接，将其通过编码器卷积网络降低通道数，得到自融合的潜在向量；从自融合的潜在向量重建最初连接的向量，然后最小化原始和重构级联向量之间的欧式距离，并将中间向量作为融合后的多模态特征信息表示；进而得到融合后既包含光流又含有精细姿态各模态最具代表性的特征信息表示； 步骤C、成员交互关系学习：利用步骤B得到的融合后特征信息表示，基于自注意力机制，通过关联强度计算成对人物特征的外观相似度，以选择性的提取对行为识别重要的人物，得到以注意力权重和的形式计算的组群成员之间的隐含向量表示； 步骤D、全局特征提取：基于全局特征提取模块，针对输入视频帧，提取包含背景信息的全局特征信息； 步骤E、基于步骤C和步骤D，实现对群组行为的识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学;青岛科技大学，其通讯地址为：150006 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。