买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：宁波大学

摘要：本发明涉及一种弱监督视频异常检测方法，包括：构建了一个视觉‑文本信息竞争融合模块，通过聚合二者的互补信息并采用竞争机制减少二者的信息冗余，来更好地捕获视频的高级语义，获得具有判别性的语义信息；然后，还建立了一个局部‑全局时间依赖模块来对视频片段之间的短期和长期时间依赖进行建模，并调整片段内部的信息权重；最后，在损失函数中还设计了两个损失函数，最大程度地利用异常视频中可能存在的多个异常片段进行有效训练；该方法提高了视频异常检测的准确性以及增强视频异常检测的鲁棒性。

主权项：1.一种弱监督视频异常检测方法，其特征在于：该方法包括下列步骤：步骤一、构建时序增强的视觉-文本竞争融合网络模型；所述的时序增强的视觉-文本竞争融合网络模型依次包括并行的视觉分支和文本分支、局部-全局时间依赖模块、视觉-文本信息竞争融合模块以及MIL分类器；步骤二、对所述时序增强的视觉-文本竞争融合网络模型进行训练，得到训练后的时序增强的视觉-文本竞争融合网络模型；步骤三、将待检测的视频输入至所述的训练后的时序增强的视觉-文本竞争融合网络模型中进行视频异常检测；其中，在步骤二中，所述的对所述时序增强的视觉-文本竞争融合网络模型进行训练的具体过程包括：S1、给定输入视频V，所述的输入视频V的视频级标签为Y，Y∈{0,1}；将所述的输入视频V分割成T个片段，即每个视频片段由vi表示；S2、针对每一个所述的视频片段，将所述视频片段分别输入到视觉分支和文本分支，所述的视觉分支用于提取所述视频片段的视觉特征FVis，并将提取到的视觉特征FVis输出；所述的文本分支用于提取视频片段对应的文本特征FText，并将提取到的文本特征FText输出；S3、将视觉分支的输出的视觉特征FVis以及文本分支输出的文本特征FText分别输入到局部-全局时间依赖模块中进行处理，由所述局部-全局时间依赖模块输出局部-全局时间依赖视觉特征FV以及局部-全局时间依赖文本特征FT，其中，S4、将所述的FV和FT同时输入视觉-文本信息竞争融合模块中进行融合，得到融合特征FVT，其中，S5、将所述的融合特征FVT输入MIL分类器中进行片段级异常分数预测，得到视频的片段异常分数集合S＝{S1,S2,…,ST}，其中，Si表示第i个视频片段的异常分数；S6、利用损失函数计算所述MIL分类器的训练损失，并通过梯度反传训练所述MIL分类器，得到训练后的MIL分类器；S7、采用下一个输入视频，返回步骤S1进行循环，直至得到训练后的时序增强的视觉-文本竞争融合网络模型。

全文数据：

权利要求：

百度查询： 宁波大学 一种弱监督视频异常检测方法