买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：长春大学

摘要：本发明公开了一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法，包括：采集多个学生课堂监控图像，并且在所述监控图像上标注学生的位置和行为，得到初始样本集；采用ESRGAN模型对所述初始样本集中的图像进行处理，得到训练样本集；构建改进的YOLOv5s模型，其包括Backbone网络、Neck网络和Head网络；其中，所述Backbone网络包括卷积注意力模块；所述Neck网络包括微小物体检测模块；采用所述训练样本集对改进的YOLOv5s模型进行训练，得到学生课堂行为检测模型；采集学生课堂实时监控图像，并通过ESRGAN模型对所述课堂实时监控图像进行处理；采用所述学生课堂行为检测模型对处理后的课堂实时监控图像进行目标检测，识别出课堂实时监控图像中的学生行为。

主权项：1.一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法，其特征在于，包括：采集多个学生课堂监控图像，并且在所述监控图像上标注学生的位置和行为，得到初始样本集；采用ESRGAN模型对所述初始样本集中的图像进行处理，得到训练样本集；ESRGAN算法在架构和损失函数方面优化了超分辨率生成对抗网络，并引入Residual-in-ResiduDenseBlock模块；构建改进的YOLOv5s模型，其包括Backbone网络、Neck网络和Head网络；所述Backbone网络包括Focus模块、多个第一BottleneckCSP模块和SPP空间金字塔池化模块；在Backbone结构的Focus操作后加入卷积注意力模块；输入图像在Backbone网络中聚合不同的细粒度图像形成图像特征；在Neck结构的第二次Concat操作后增加一个由FPN结构和PAN结构组成的微小物体检测模块；所述FPN结构包括依次连接的第二BottleneckCSP模块、第一卷积层和第一Concat模块；所述PAN结构依次连接第三BottleneckCSP模块和第二卷积层和第二Concat模块；所述第一卷积层的卷积核尺寸为1×1，所述第二卷积层的卷积核尺寸为3×3；Head网络由四个模块组成，分别检测尺寸为160×160、80×80、40×40和20×20的物体，输出预测的boundingbox和类别，并在原图中标记目标，输出学生行为检测结果；采用所述训练样本集对改进的YOLOv5s模型进行训练，得到学生课堂行为检测模型；采集学生课堂实时监控图像，并通过ESRGAN模型对所述课堂实时监控图像进行处理；采用所述学生课堂行为检测模型对处理后的课堂实时监控图像进行目标检测，识别出课堂实时监控图像中的学生行为。

全文数据：

权利要求：

百度查询： 长春大学 一种基于ESRGAN和改进YOLOv5s的学生课堂行为检测方法