买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中科(黑龙江)数字经济研究院有限公司;北京邮电大学

摘要：本发明为视频分析领域，公开了基于稀疏图因果时序编码的自监督群体行为识别方法及其识别装置。获得群体行为视频数据；基于稀疏图因果时序预测编码，构建描述群体状态时空信息变化的网络结构，网络结构包括特征提取网络、编码器与解码器。特征提取网络，用于根据群体行为视频数据提取特征向量组；编码器，根据群体行为视频数据构建的场景中个体的稀疏图；解码器，利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态，以用于预测未来群组变化；对描述群体状态时空信息变化的网络结构构建损失函数，增强自监督学习的效果；利用优化后的网络结构实现自监督条件下的群体行为识别。本发明可针对具有复杂时序关系和空间位置关系的群体行为进行建模与识别，用以解决常用的基于循环神经网络等模型在表示行为动态特征方面能力不足、识别性能欠佳的问题。

主权项：1.一种基于稀疏图因果时序编码的自监督群体行为识别方法，其特征在于，所述自监督群体行为识别方法包括，获得群体行为视频数据；基于稀疏图因果时序预测编码，构建描述群体状态时空信息变化的网络结构，所述网络结构包括特征提取网络、编码器与解码器，所述特征提取网络，用于根据群体行为视频数据提取特征向量组；所述编码器，根据群体行为视频数据构建场景中个体的稀疏图；所述解码器，利用注意力机制建模长期线索之间的依赖关系以用于关注最相关的历史动态；对描述群体状态时空信息变化的网络结构，构建损失函数，增强自监督学习的效果；利用优化后的描述群体状态时空信息变化的网络结构实现自监督群体行为识别；所述编码器具体为：编码器的稀疏图子网络SGTransformer用于空间状态建模，并构建场景中个体与个体间的动态交互模式，其中每一个个体都用一个高维向量进行特征表示；在稀疏图子网络SGTransformer中，每个节点都通过向其邻居节点传递消息来进行群组交互模式的更新；将D维的特征向量组输入到编码器的稀疏图子网络SGTransformer中进行空间群组状态信息建模；所述解码器具体为：所述解码器采用多头自注意力机制模型，所述解码器接受来自编码器的因果时序CTTransformer的输出，解码器利用注意力机制建模长期线索之间的依赖关系关注最相关的历史动态；编码器-解码器的处理流程具体为，对于多个连贯的视频帧，依次经过特征提取后分别输入稀疏图子网络SGTransformer并得到第i个视频帧中的群组状态特征，将每个视频帧对应的特征输入到时序因果CTTransformer并最终输出群体状态时空信息变化特征，将输入到解码器中进行状态注意力计算和状态注意力更新，并预测未来的群组状态。

全文数据：

权利要求：

百度查询： 中科(黑龙江)数字经济研究院有限公司 北京邮电大学 基于稀疏图因果时序编码的自监督群体行为识别方法及其识别系统