申请/专利权人：合肥工业大学

申请日：2021-09-13

公开（公告）日：2024-06-11

公开（公告）号：CN113822188B

主分类号：G06V40/20

分类号：G06V40/20;G06V10/25;G06V10/44;G06V10/80;G06V10/766;G06V10/82;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2022.01.07#实质审查的生效;2021.12.21#公开

摘要：本发明公开了一种时间因果诱导的斗殴行为的识别方法。本发明针对群体斗殴行为特点，即多人之间具有因果关系，具有时间延迟关系，具有空间依赖关系，来实现群体斗殴行为的特征提取。针对上述三个问题，分别使用Granger因果关系估计多人的因果关系矩阵，Granger因果时间延迟关系估计多人的因果时间延迟矩阵，用于因果特征融合，空间外观图模型估计，用于多人空间特征融合。依次，提取因果图融合的个体特征，空间图融合的个体特征，并使用最大池化方法将个体特征矩阵转化为群体特征，使用全连接层识别群体斗殴行为。本发明可有效实现群体斗殴的多人因果图特征提取，多人空间图特征提取，以及实现对群体斗殴行为检测。

主权项：1.一种时间因果诱导的斗殴行为的识别方法，其特征在于：具体包括以下步骤：步骤1、根据群体斗殴行为训练集视频进行个体行为特征提取；步骤2、根据提取的个体行为特征进行个体间时间因果关系强度识别，得到个体之间的因果关系矩阵和因果延迟矩阵；步骤3、根据得到的个体之间的因果关系矩阵和因果延迟矩阵进行时间因果图融合的个体特征提取；步骤4、根据步骤1提取的个体行为特征和步骤3提取的时间因果图融合后的个体特征进行群体特征空间图推理特征提取，进行预测群体斗殴行为类别；步骤5、对群体斗殴行为训练集视频进行群体斗殴行为模型训练，得到群体斗殴识别模型参数；步骤6、根据群体斗殴识别模型参数进行训练群体斗殴行为识别；所述的步骤1的具体内容如下：步骤1-1：输入群体斗殴行为训练集视频，将视频拆成视频帧，获得待识别的群体斗殴行为视频帧序列；步骤1-2：对待识别的群体斗殴行为视频帧序列，使用RCNN预训练模型，获得群体斗殴行为识别框，识别框作为个体的位置特征，并且同一个人在不同视频帧上的位置特征记作该个体的位置特征集合；步骤1-3：将群体斗殴行为框中的RCNN特征，作为该个体的外观特征，并且同一个人在不同视频帧上的外观特征记作该个体的外观特征集合；所述的步骤2的具体内容如下：步骤2-1：从步骤1-3中提取的个体外观特征集合中，选择出2个个体的外观特征进行时间因果关系强度识别；步骤2-2：将待分析的2个个体的外观特征集合记作Fi＝{fi,t}和Fj＝{fj,t}，其中i和j是个体编号，t是时间编号；步骤2-3：设置个体i影响个体j的时间延迟因子delay，时间延迟因子大于等于0；步骤2-4：由于时间延迟因子大于等于0，将个体i的外观特征向时间增加方向按照时间延迟因子向后平移，平移后其前方空缺的特征，使用第一帧特征补充，得到时间平移后的个体i的外观特征集合；步骤2-5：根据平移特征进行外观特征有约束回归，计算两个个体之间Granger有约束回归误差总和RSSR，有约束时，同时考虑两个个体；步骤2-6：根据第j个个体的特征进行回归，获得单个个体的Granger无约束回归误差总和RSSU，无约束时，只考虑第j个个体；步骤2-7：计算F分布因果关系统计量，用于回归误差验证： 其中delay是时间延迟因子，k是因果时间窗口大小，n是样本容量，即因果时间窗口的个数，RSSU是无约束的回归误差总和，RSSR是有约束的回归误差总和；步骤2-8：给定显著性水平α下F分布的临界值阈值Fαdelay，n-k，该阈值是因果关系的阈值；步骤2-9：将步骤2-7得到的因果关系统计量与步骤2-8的临界值阈值比较，判断因果关系aij；步骤2-9-1：如果因果关系统计量小于临界值阈值，则说明有约束不会明显改变预测，两个个体之间无明显的因果关系；步骤2-9-2：如果因果关系统计量大于临界值阈值，则说明有约束的回归会明显改变预测，第i个个体行为是第j个个体行为的原因，第i个个体是主动行为者，第j个个体是被动行为者；步骤2-10：重复步骤2-3到步骤2-9，估计其他delay情况下的因果关系，计算最强因果关系的时间延迟因子dij；步骤2-11重复步骤2-1到步骤2-10，计算其他个体之间的因果关系，获得个体之间的因果关系矩阵A＝{aij}，并依次记录个体之间的最强因果关系的时间延迟矩阵D＝{dij}；所述的步骤3的具体内容如下：步骤3-1：根据步骤2-11获得因果关系矩阵，使用因果关系矩阵，作为因果关系图的边权重，构建因果关系图；步骤3-2：在因果关系矩阵中，遍历个体j的主动行为者，即从个体i到个体j的因果关系aij＝1的个体，获得有因果关系的主动行为者集合；步骤3-3：依次遍历主动行为者，获得主动行为者的外观特征集合；步骤3-4：根据步骤2-11获得的时间延迟矩阵D，采用步骤2-4对主动行为者进行时间平移操作，获得时间平移后的主动行为者的外观特征；步骤3-5：对有因果关系的个体集合，其平移后的主动行为者特征，按照各时间帧进行求平均，获得平均后的主动行为者的外观特征；步骤3-6：将平均后的主动行为者外观特征与被动行为者外观特征，按照各时间帧进行求和，获得融合后的被动行为者的外观特征，此时被动行为者的外观特征，记作融合后的个体特征 其中，C是外观特征的通道数，表示第j个个体的第t帧的特征，其中选择了第1个通道到第个通道的特征，表示平均后的主动行为者的第t帧的特征，其中选择了第个通道到第C个通道的特征，融合后的个体特征包括C个通道，其中34的通道是原始特征，14的通道是平均后的主动行为者特征；步骤3-7：重复步骤3-2到步骤3-6，提取时间因果图融合后的个体特征；所述的步骤4的具体内容如下：步骤4-1：根据位置特征，构建空间关系图：步骤4-1-1输入步骤1-2中的视频帧的个体的位置特征，计算2个个体之间的距离；步骤4-1-2构建空间关系图，设置阈值，如果个体间的距离大于阈值，则在空间图中个体之间的权重ei,j＝0，如果个体间的距离小于阈值，则在空间关系图中个体之间的权重ei,j＝1；步骤4-2根据融合后的特征，构建外观关系图；步骤4-2-1：输入步骤3-6得到的融合后的个体特征步骤4-2-2：根据融合后的特征，计算2个个体之间特征的相关性si,j，计算公式如下 其中Fiagg是个体i融合后的特征，T是特征向量的转置插座，是个体j融合后的特征；步骤4-3根据位置关系图和外观关系图，构建空间-外观关系图，其中图中边的权重计算公式为: 其中ei,j是步骤4-1-2计算的个体之间的权重，si,j是个体之间的相似度；步骤4-4：根据空间-外观关系图，输入融合后的个体特征集合，提取空间图卷积推理的个体特征，推理公式为Fgraph＝σG·Fagg·W其中Fgraph＝{Figraph}是一个矩阵，该矩阵包含各个空间外观图融合后的个体特征，σ·是sigmoid函数，Fagg＝{Fiagg}是矩阵，该矩阵包含各个融合后的个体特征，W为图卷积的参数；步骤4-5：将空间外观图融合后的个体特征矩阵，使用最大池化操作得到群体特征；步骤4-6：将群体特征经过2层全连接层处理，预测群体斗殴行为类别。

全文数据：

权利要求：

百度查询： 合肥工业大学 一种时间因果诱导的斗殴行为的识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD