申请/专利权人：山东大学

申请日：2022-02-28

公开（公告）日：2024-06-11

公开（公告）号：CN114550098B

主分类号：G06V20/52

分类号：G06V20/52;G06N3/0464;G06N3/0895;G06V10/25;G06V10/77;G06V10/774;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2022.06.14#实质审查的生效;2022.05.27#公开

摘要：本发明公开了基于对比学习的考场监控视频异常行为检测方法及系统，包括：获取考场监控视频；对获取的监控视频进行目标检测，得到每一帧图像中考生所在位置；对获取的考生位置进行目标跟踪，获取连续帧中对应考生的位置，组成视频片段；利用训练后的基于对比学习的模型，对所述视频片段进行异常行为检测。结合了自监督学习领域中常用的代理任务与对比学习机制，充分利用监督信息。

主权项：1.基于对比学习的考场监控视频异常行为检测方法，其特征是，包括：获取考场监控视频；对获取的监控视频进行目标检测，得到每一帧图像中考生所在位置；对获取的考生位置进行目标跟踪，获取连续帧中对应考生的位置，组成视频片段；利用训练后的基于对比学习的模型，对所述视频片段进行异常行为检测；所述训练后的基于对比学习的模型；训练过程具体包括：构建第二训练集；所述第二训练集为已知正常行为标签或异常行为标签的考场视频；将第二训练集，输入到图像转换模块中进行图像转换；将转换后的图像，输入到特征提取器中进行特征提取；将提取的特征分别输入到基于对比学习机制的映射头部模块和用于对代理任务进行分类的映射头部模块；当基于对比学习机制的映射头部模块的损失函数与用于对代理任务进行分类的映射头部模块的损失函数求和结果不再下降时，停止训练，得到训练后的基于对比学习的模型；基于对比学习机制的映射头部模块的损失函数，具体为： 其中，Ij≠i中的I·为指示函数，不等号两边的j不等于i表示i和j是两个不同的样本，i和j不等时函数Ij≠i的值为1； 其中，vni和vnj表示两个不同的正常行为样本，vam表示异常行为样本；内积运算为余弦相似度计算，用来衡量两个样本特征向量的相似度；τ∈0，∞表示温度参数，用来控制分布，取值在0到1之间用来放大相似度的计算；代理任务学习分类输入的类型，包括原图像、旋转、空间乱序、时间乱序四种，用于对代理任务进行分类的映射头部模块将学习判别原图像发生的图像变换类型；用于对代理任务进行分类的映射头部模块的损失函数，具体为： 其中，为经过四种变换后的输入通过特征提取器和映射头部后的输出，K为类别数量，Y为输入S经过one-hot编码的真实类别标签；Yk为第k类输入的真实类别标签。

全文数据：

权利要求：

百度查询： 山东大学 基于对比学习的考场监控视频异常行为检测方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD