买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川大学

摘要：本发明公开了一种结合自注意力模块的自监督视频异常检测方法，属于监控视频数据分析技术领域，该方法包括三部分：第一部分构建结合自注意力模块Swin‑Transformer和自编码器网络U‑Net的帧预测网络模型，获取视频数据按时序处理为样本帧集合，以每一视频样本帧为起点，选择k+1帧构成构成样本帧组，前k帧作为预测网络输入用于预测帧生成，第k+1帧作为真实帧对应预测帧用于模型对抗训练；第二部分进行对抗生成训练，设置综合光流、动态图、强度、梯度的目标函数，通过最小化预测帧与生成帧之间的损失获得视频异常检测模型；第三部分将训练得到模型应用于视频异常事件检测，输入测试视频帧，计算预测帧和真实帧的PSNR值，低于设定阈值则判定为异常帧，否则为正常帧，重复此步骤，直至完成对所有样本的判断。本发明解决了现有预测模型特征提取能力有限和视频背景元素对检测精度干扰的问题，并在大尺寸视频数据处理上具有性能优势，加速对正常行为模式转变的识别，有效地实现针对复杂环境的自监督视频异常检测。

主权项：1.一种结合自注意力模块的自监督视频异常检测方法，其特征在于，包括以下步骤：S1、获取视频数据，将视频数据按时序处理为以帧为单位的图片集合，构成模型训练样本集；S2、数据预处理，每一帧视频样本帧为起点，选择k+1帧构成构成样本帧组，前k帧作为预测网络输入，第k+1帧作为真实帧对照预测帧用于模型对抗训练；S3、构建预测网络，结合自注意力模块Swin-Transformer和自编码器网络U-Net，以前k帧为输入，以与真实帧所对应的预测帧的特征图为输出；S4、构建判别网络，基于Pixel分类器，以预测帧和真实帧为输入，以Sigmoid激活函数值为输出；S5、构建约束网络，基于光流模型liteFlownet，以第k帧、预测帧、真实帧为输入，以光流张量为输出；基于动态图，输入视频多帧得到注意力图，给予动作轨迹区域和非动作轨迹区域不同权重；S6、构建损失模型，分别计算预测帧与真实帧的梯度损失、强度损失、光流损失、动态图损失并赋予不同的权重综合为生成损失，以预测帧与真实帧的判别网络的输出为输入，计算判别损失；S7、生成对抗训练，设置预测网络与判别网络的目标函数，通过反向传播更新相关参数，获得视频异常检测模型；S8、视频异常检测，输入测试视频帧，计算预测帧和真实帧的PSNR值，低于设定阈值则判定为异常帧，否则为正常帧；重复步骤S8，直至完成对所有样本的判断。

全文数据：

权利要求：

百度查询： 四川大学 一种结合自注意力模块的自监督视频异常检测方法