申请/专利权人：武汉纺织大学

申请日：2024-05-07

公开（公告）日：2024-06-04

公开（公告）号：CN118135666A

主分类号：G06V40/20

分类号：G06V40/20;G06V20/40;G06V10/774;G06V20/70;G06V10/22;G06V10/80

优先权：

专利状态码：在审-公开

法律状态：2024.06.04#公开

摘要：本发明公开了一种实时目标检测的课堂行为识别方法，所述课堂行为识别方法具体包含如下步骤：步骤1：利用摄像设备收集学生上课的视频，对收集的视频进行抽帧处理，形成图像数据集；步骤2：设计目标检测模型的损失函数，并且设计目标检测模型的结构；步骤3：利用处理好的图像数据集，训练出目标检测模型；步骤4：使用训练后最优的目标检测模型，对学生课堂行为进行实时识别，得到目标检测模型的预测结果。通过设计轻量级的模块，降低模型的参数量，并提升模型的检测性能，组成实时目标检测模型，从而应用在复杂的课堂场景中，实现对课堂中学生行为的自动化识别，降低了人工观察的成本，提升了学生行为识别的准确性。

主权项：1.一种实时目标检测的课堂行为识别方法，其特征在于，所述课堂行为识别方法具体包含如下步骤：步骤1：利用摄像设备收集学生上课的视频，对收集的视频进行抽帧处理，形成图像数据集；步骤2：设计目标检测模型的损失函数，并且设计目标检测模型的结构；所述步骤2具体如下：步骤2.1：设计目标检测模型的损失函数，所述损失函数由类别损失函数与边界框损失函数构成；所述步骤2.1具体为：步骤2.1.1：设计目标检测模型的类别损失函数如下： 其中，N表示训练集中的样本数；为超参数，用于避免分母为0；i表示训练集中的第i个样本；C表示行为类别数；j表示行为类别中第j个行为类别；表示第i个样本所属类别的类别平衡权重，通过图像数据集的行为类别分布情况确定；表示第i个样本的one-hot编码形式，其中真实标签为1；表示模型预测第i个样本属于第j个行为类别的概率；步骤2.1.2：设计目标检测模型的边界框损失函数，将预测边界框与真实边界框的差值表示为预测边界框与真实边界框之间的损失，假设预测边界框表示为，其中，表示预测边界框中心点的横坐标，表示预测边界框中心点的纵坐标，表示预测边界框的宽度，表示预测边界框的高度，真实边界框表示为，其中，表示真实边界框中心点的横坐标，表示真实边界框中心点的纵坐标，表示真实边界框的宽度，表示真实边界框的高度，边界框损失函数具体如下： 其中，i表示训练集中第i个样本，GlossyLoss函数用于平滑处理预测边界框与真实边界框之间的差值；步骤2.2：设计目标检测模型的结构，所述目标检测模型的结构分为特征提取部分、特征融合部分和检测部分；步骤3：利用处理好的图像数据集，训练出目标检测模型；步骤4：使用训练后最优的目标检测模型，对学生课堂行为进行实时识别，得到目标检测模型的预测结果。

全文数据：

权利要求：

百度查询： 武汉纺织大学 一种实时目标检测的课堂行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD