申请/专利权人：黑龙江大学

申请日：2024-03-26

公开（公告）日：2024-05-28

公开（公告）号：CN118097791A

主分类号：G06V40/20

分类号：G06V40/20;G06V10/764;G06V20/70;G06V10/82

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.06.14#实质审查的生效;2024.05.28#公开

摘要：基于BEV感知的考场异常行为解耦检测方法，它属于计算机视觉技术领域。本发明解决了现有深度学习方法在实际考场异常行为检测中的泛化能力及准确性差的问题。本发明将复杂行为检测任务分解为对人体的定位任务和对异常行为的简单分类任务，降低了模型对实际考试状态数据集的依赖。采用BEV感知准确定位多个目标，利用MobileSAM模型生成带有强语义信息且弱化其它与异常行为检测分类无关信息的语义特征图像，设计Multi‑PST网络对多视角语义特征及细致原始图像信息融合互补分析，进而提升了考场异常行为检测的泛化应用能力及准确性。本发明方法可以应用于考场异常行为检测。

主权项：1.基于BEV感知的考场异常行为解耦检测方法，其特征在于，所述方法具体包括以下步骤：步骤一、在考场内布置N个相机，利用N个相机来获取N个视角下的考场监控视频数据，并将各视角下的视频数据进行时间同步；再分别对各视角下的监控视频数据进行分帧处理，利用来自于各视角下监控视频数据的属于同一时刻的各帧图像组成一组图像；步骤二、分别对每组图像进行预处理，即将每组图像中各图像的尺寸统一调整为h×w，将每组图像分别表示成Numpy数组的形式，Numpy数组的格式为h,w,c,n，其中，h表示图像长，w表示图像宽，c表示通道数，n表示组内图像数量；对于预处理后的第一组图像，将该组内的全部图像同时输入BEVFormerv2模型，得到第一组图像的BEV特征，并将该组内的图像依次输入MobileSAM模型，生成全局语义特征图像组；同理，依次对每组预处理后的图像进行处理；步骤三、基于BEV特征，利用3D目标检测器和ByteTrackV2目标跟踪器得到各目标的ID以及不同采集时刻的不同视角下各目标的预测框坐标；步骤四、从各帧原始图像和各帧全局语义特征图像中裁剪出各目标的预测框内的子图像，得到不同采集时刻的不同视角下各目标的语义特征子图像和原始子图像；步骤五、将步骤四中得到的语义特征子图像和原始子图像沿通道维度进行拼接，将拼接结果输入Multi-PST网络中，得到各ID目标的行为状态。

全文数据：

权利要求：

百度查询： 黑龙江大学 基于BEV感知的考场异常行为解耦检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD