申请/专利权人：北方民族大学

申请日：2024-04-11

公开（公告）日：2024-06-25

公开（公告）号：CN118247730A

主分类号：G06V20/52

分类号：G06V20/52;G06V20/40;G06V10/25;G06V10/80;G06V10/774;G06V10/82

优先权：

专利状态码：在审-公开

法律状态：2024.06.25#公开

摘要：本发明公开了一种基于改进YOLOv8的智慧教室学生课堂行为识别方法，包括：对真实课堂视频进行行为标注，制作学生行为数据集并进行数据增强，得到增强数据集；将增强数据集进行Mosaic和CutMix拼接后输入改进YOLOv8网络中训练，得到最优模型；在应用阶段，使用C++和TensorRT将最优模型部署到GPU设备上，得到trt加速模型，将待测视频逐帧输入到加速模型中进行预测，得到的预测信息使用NMS和设定的阈值筛选出真实学生行为信息，并进行输出。本发明将目标检测技术和模型部署技术应用于智慧教室学生课堂行为识别，给摄像头像素不高、后排学生较多和实时性要求较高的智慧教室学生课堂行为识别任务提供有效帮助，可有效提高检测精度和速度。

主权项：1.基于改进YOLOv8的智慧教室学生课堂行为识别方法，其特征在于，该方法是基于改进YOLOv8网络实现学生课堂行为的精准检测，该改进YOLOv8网络是对原来YOLOv8网络的特征提取模块、特征融合模块和预测模块进行改进；对特征提取模块的改进是：利用传统卷积和CA注意力机制构建动态通道注意力卷积，称为DCAConv模块，用于替换掉特征提取模块中的后三个传统卷积，其方法是通过使用全局平均池化生成动态权重，利用这些动态权重对CA注意力机制中的注意力特征进行调整，同时在特征提取模块尾部添加多尺度通道注意力机制，称为MSCAAttention模块；对特征融合模块的改进是：结合GOLD机制构建多尺度上下文融合模块，称为LCD模块，其通过卷积和自注意力机制操作实现全局融合多层次特征，增强多尺度特征的融合能力，并将全局信息注入更高层次，同时增加160×160特征尺寸的小目标检测层，提高后排学生行为识别的准确率；对预测模块的改进是：添加滑动损失Slideloss解决数据集简单和困难样本数量不匹配；该智慧教室学生课堂行为识别方法的具体实施包含以下步骤：1对真实课堂视频进行行为标注，制作学生行为数据集；对学生行为数据集进行数据增强，得到增强数据集；2将增强数据集进行Mosaic和CutMix拼接后输入到改进YOLOv8网络中进行训练，训练时，通过特征提取模块获取不同尺度的学生行为特征信息，并输入到特征融合模块中进行特征融合，最后输入到预测模块中进行学生行为的预测；在反向传播中计算预测结果和行为标签损失值，经过多次训练迭代至损失最小，最终得到最优模型；3在应用阶段，将训练得到的最优模型转为onnx开放格式，再利用TensorRT方法库将onnx开放格式转为专用的trt优化模型，最后利用C++完成最优模型在GPU设备上的部署；然后将待测视频逐帧输入到加速模型中进行预测，得到的预测信息使用NMS和设定的阈值筛选出真实学生行为信息，并进行输出。

全文数据：

权利要求：

百度查询： 北方民族大学 基于改进YOLOv8的智慧教室学生课堂行为识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD