买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉星巡智能科技有限公司

摘要：本发明涉及学习陪护技术领域，解决了现有技术中学生学习陪护场景下异常坐姿检测不准确，成本高的问题，提供了一种结合异常坐姿动态检测的学习陪护方法、装置及机器人。该方法包括：获取学生学习陪护场景下的多帧实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，提取出学生学习图像；对所述学生学习图像进行特征提取和单目深度检测，输出关键点信息和深度信息；对学生实时坐姿进行分析，输出实时坐姿分析结果；结合预设的异常坐姿参数，识别异常坐姿；向用户发出与所述坐姿检测结果相对应的提醒信息。本发明在不影响学习效果的情况下实现了对异常坐姿的准确检测，并降低了检测成本。

主权项：1.一种结合异常坐姿动态检测的学习陪护方法，其特征在于，所述方法包括：S1：获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧实时图像；S2：将各所述实时图像输入预训练的目标检测模型中，依据检测出的预设学习用品位置信息和手部位置信息，当学习用品与手部相交时，提取出学生学习图像；S3：对所述学生学习图像进行特征提取和单目深度检测，输出与学生学习相关的关键点信息和深度信息；S4：依据所述关键点信息和深度信息，对学生实时坐姿进行分析，输出实时坐姿分析结果；S5：依据所述实时坐姿分析结果，结合预设的异常坐姿参数，识别异常坐姿；S6：当识别为异常坐姿时，向用户发出与所述坐姿检测结果相对应的提醒信息，提醒用户对学生坐姿进行调节；所述S3包括：S31：将连续多帧所述学生学习图像输入人体关键点检测模型中，识别出所述关键点信息，其中，人体关键点至少包括：左眼、右眼、鼻子、左肩和右肩；S32：对所述学生学习图像进行单目深度检测，获取学生学习图像对应的相对深度图；S33：对连续多帧学生图像对应的相对深度图进行滤波处理，输出滤波处理后的深度图作为所述深度信息；所述S4包括：S41：依据所述关键点信息，确定连续多帧学生学习图像中的关键点坐标位置；S42：依据所述关键点坐标位置和所述深度信息，获取与关键点坐标位置对应的深度值；S43：依据所述关键点坐标位置和对应的深度值，确定第一目标关键点坐标位置和对应的第一深度值，并确定第二目标关键点坐标位置和对应的第二深度值，其中，第一目标关键点包括所述左眼、所述右眼和所述鼻子，第二目标关键点包括所述左肩和所述右肩；S44：依据所述第一目标关键点坐标位置和对应的第一深度值，对学生头部偏移程度进行判定，输出头部偏移判定结果；S45：依据所述第二目标关键点坐标位置和对应的第二深度值，对学生身体偏移程度进行判定，输出身体偏移判定结果；S46：依据所述头部偏移判定结果和身体偏移判定结果，输出所述实时坐姿分析结果；所述S44包括：S441:依据所述第一目标关键点坐标位置和所述第一深度值，获取左眼坐标位置、右眼坐标位置、左眼深度值和右眼深度值；S442：对各帧学习图像中所述左眼坐标位置和右眼坐标位置进行比较，判定头部向左偏移或向右偏移；S443：将左眼深度值和右眼深度值作为眼部深度值，对相邻帧深度图中的所述眼部深度值进行比较，判定头部向前偏移或向后偏移；所述S5包括：S51：若判定头部向左偏移或向右偏移，则依据所述第一目标关键点坐标位置，连接左眼关键点与鼻子关键点得出第一直线，并连接右眼关键点与鼻子关键点作为第二直线；S52：获取第一直线与竖直方向的第一夹角和第二直线与竖直方向的第二夹角；S53：将第一夹角与第二夹角之间的角度差与预设的角度差阈值进行比较，当连续多帧图像中所述角度差大于所述角度差阈值时，识别为第一异常坐姿；S54：若判定头部向前偏移或向后偏移，则对相邻帧深度图中的眼部深度变化绝对值进行计算，当连续多帧图像中计算得出的眼部深度值变化绝对值大于预设深度阈值时，识别为第二异常坐姿。

全文数据：

权利要求：

百度查询： 武汉星巡智能科技有限公司 结合异常坐姿动态检测的学习陪护方法、装置及机器人