买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：独数一智(北京)信息科技有限公司

摘要：本发明公开了一种基于学生行为捕捉的远程伴读监督系统，包括学生端、教师端、远程服务器、云端服务器和家长端，学生端、教师端和家长端分别与远程服务器通过无线网络连接，远程服务器和云端服务器无线连接，通过设置在学生端的摄像头，采集学生在学习时的行为状态图像；通过远程服务器上行为识别矩阵的捕捉框确定行为状态图像上学生的人脸表情，并进行人脸表情标记；将人脸表情标记后的行为状态图像上传云端服务器，确定学生人脸表情的动作序列，并判断每个动作序列对应的学生学习状态；根据学生学习状态，进行学生学习远程监督，并在学习状态不良时，云端服务器通过远程服务器向学生端、教师端和家长端发送提醒信息。

主权项：1.一种基于学生行为捕捉的远程伴读监督系统，包括学生端、教师端、远程服务器、云端服务器和家长端，学生端、教师端和家长端分别与远程服务器通过无线网络连接，远程服务器和云端服务器无线连接，其特征在于，包括：实时图像采集模块：用于通过设置在学生端的摄像头，实时采集学生在学习时的行为状态图像；行为捕捉模块：用于将行为状态图像输入至远程服务器的行为识别矩阵，通过行为识别矩阵的捕捉框确定行为状态图像上学生的人脸表情，并进行人脸表情标记；学习状态判定模块：用于将人脸表情标记后的行为状态图像上传云端服务器，确定学生人脸表情的动作序列，并判断每个动作序列对应的学生学习状态；监督提醒模块：用于根据学生学习状态，进行学生学习远程监督，并在学习状态不良时，云端服务器通过远程服务器向学生端、教师端和家长端发送提醒信息;所述实时图像采集模块还包括：变焦调节单元：采集学生学习时的高光谱图像，基于高光谱图像的光谱特性和多准则决策的波段选择方法选出用于当前距离的最佳波段；配准单元：用于通过学生端的成像系统捕获学生彩色图像和最佳波段图像，并与获取到的行为状态图像与学生彩色图像和最佳波段图像进行配准获得配准图像对；图像融合生成单元：基于视觉显著性的多模态图像融合方法提取配准图像对的互补信息，并进行互补信息融合从而获得高质量的行为状态图像;所述行为捕捉模块包括：动作序列单元：用于将行为状态图像通过远程服务器的行为识别矩阵进行识别处理，确定学生行为特征矩阵，并将学生行为特征矩阵输入第一注意力模型，确定学生行为的动作概率序列、起始点概率序列和结束点概率序列；其中，第一注意力模型由多个分组串联得到，每个分组中包括至少一个注意力单元，各个分组对应的目标特征矩阵在时序上形成了特征偏移；捕捉框生成单元：用于根据动作概率序列、起始点概率序列和结束点概率序列生成候选捕捉框集；其中，候选捕捉框集包括至少一个候选捕捉框；目标捕捉单元：用于提取各个候选捕捉框之间的相对位置信息，并将相对位置信息输入第二注意力模型以得到目标捕捉框集；其中，目标捕捉框集至少包括一个捕捉框;所述行为捕捉模块还包括：模型训练单元：用于根据行为状态图像的目标样本，构建基于捕捉框的行为目标检测模型，进行人脸检测；其中，人脸检测包括人脸区域检测模型测试、人脸区域检测模型训练、人脸特征点标定模型评估、人脸特征点标定模型训练、人脸比对模型评估、人脸比对模型训练；模型应用单元：用于获取训练后的行为目标检测模型，通过行为目标检测模型进行学生脸部人脸表情的实时标记采集；其中，标记采集包括实时特征对齐、实时视频采集、实时人脸比对、实时图像抓拍、实时眨眼识别、实时人脸检测、实时张嘴识别、实时特征标定;所述学习状态判定模块包括：标记提取单元：用于通过表情标记，确定每个表情标记的时间信息，生成表情标记的时间序列；表情位置确定单元：用于基于时间序列和FasterR-CNN目标检测模型获得行为状态图像上每个表情在人脸上的方位信息；时间判定单元：用于基于时间序列和FasterR-CNN目标检测模型，确定每个表情的持续时间；学习状态分析单元：用于基于方位信息、持续时间和学生面部表情，确定学生学习状态。

全文数据：

权利要求：

百度查询： 独数一智(北京)信息科技有限公司 一种基于学生行为捕捉的远程伴读监督系统