申请/专利权人：北京工业大学

申请日：2021-05-17

公开（公告）日：2024-05-28

公开（公告）号：CN113297936B

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/764;G06V10/82;G06N3/042;G06N3/0464;G06N3/0455;G06N3/084;G06V10/80

优先权：

专利状态码：有效-授权

法律状态：2024.05.28#授权;2021.09.10#实质审查的生效;2021.08.24#公开

摘要：一种基于局部图卷积网络的排球群体行为识别方法，涉及智能媒体计算和计算机视觉领域；首先对训练视频样本进行时域稀疏采样，对采样出的视频帧使用卷积神经网络提取全图特征图，并利用RoIAlign根据图像中的个体候选框的位置提取个体视觉特征图；其次建立个体自连接图模型和个体间连接图模型，并以图卷积网络对图模型中的个体局部特征进行交互信息的传递得到关系特征图，并将其与个体视觉特征图进行融合；将训练样本进行预处理后传入网络中，利用损失函数和优化器对模型的参数进行迭代更新直至达到收敛，完成训练；最后将测试数据送入网络中，得到模型对测试数据的预测结果以及分类准确率。本发明有助于提升群体行为识别算法的性能。

主权项：1.基于局部图卷积网络的排球群体行为识别方法，其特征在于，包含如下步骤：步骤1，提取个体局部特征：使用Inception-v3深度卷积神经网络来提取视频帧的特征图，使用RoIAlgin根据输入的个体候选框位置提取个体视觉外观特征图；特征图上每一个位置的特征作为一个局部区域的特征；步骤2，建立个体自连接图：以所有个体的所有局部区域特征集合作为图的节点集合，使用嵌入空间点乘的方式计算各节点之间边的权重，对得到的邻接矩阵施加个体自连接约束，令每个个体内各局部区域间存在相连的边，个体间的局部区域间不存在相连的边，建立个体自连接图；步骤3，建立个体间连接图：个体间连接图的节点集合和边的权重计算方式与步骤2中建立个体自连接图的方式相同，区别在于对于邻接矩阵施加个体间连接约束，令每个个体间各局部区域存在相连的边，个体内的局部区域间不存在相连的边，建立个体间连接图；步骤4，提取交互关系特征：在步骤2和步骤3中建立的个体自连接图和个体间连接图上进行图卷积运算来推理节点间的关系特征，通过最大池化运算来融合两种图输出的结果，完成关系特征图的提取；步骤5，建立分类层：将深度卷积神经网络模型Inception-v3输出的原始视觉外观特征图和步骤4中得到的关系特征图相加进行融合，输入到全连接层输出个体分类特征进行个体行为的分类，将所有个体的分类特征通过最大池化计算得到群体特征进行群体行为的分类；步骤6，训练模型：采用时域稀疏采样策略，在训练的时候将视频分为K个片段，然后从K个片段中各采样1帧，将K帧图像经过缩放进行预处理后，输入到网络模型中，网络同时处理K帧图像并将K帧的结果进行融合；使用Adam梯度下降方法进行优化，利用交叉熵函数评价模型性能并对模型参数进行学习；步骤7，预测群体行为和个体行为：在测试的时候采用与步骤5相同的预处理方式，将视频帧输入到步骤4训练好的模型中，对每个视频帧预测个体行为和群体行为类别的得分，将所有帧的得分进行均匀池化来构成整段视频的预测得分。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于局部图卷积网络的排球群体行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD