买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉星巡智能科技有限公司

摘要：本发明涉及学习陪护技术领域，解决了现有技术中检测作业文本四周角点位置准确度低、成本高的问题，提供了一种基于文本角点检测的学习陪护方法、装置、机器人及介质。该方法包括：获取学生学习陪护场景下的多帧图像；对各所述图像进行亮度调整和对比度调整，输出目标图像；利用结构化森林算法，对所述目标图像进行边缘检测，输出边缘检测图像；对所述目标图像进行单目深度检测，输出单目深度图像；对所述边缘检测图像和单目深度图像进行信息融合，输出初步顶点位置；对所述初步顶点位置进行几何约束调整，输出目标顶点位置作为学生作业文本顶点位置。本发明提高了对学生作业文本的检测和定位的准确性和可靠性，降低了检测成本。

主权项：1.一种基于文本角点检测的学习陪护方法，其特征在于，所述方法包括：S1：获取学生学习陪护场景下的实时视频数据，将所述实时视频数据分解为多帧图像；S2：对各所述图像进行亮度调整和对比度调整，输出调整后的目标图像；S3：利用结构化森林算法，对所述目标图像进行边缘检测，输出边缘检测图像；S4：对所述目标图像进行单目深度检测，输出单目深度图像；S5：对所述边缘检测图像和单目深度图像进行信息融合，依据融合结果，输出学生作业文本对应的初步顶点位置；S6：对所述初步顶点位置进行几何约束调整，输出调整后的目标顶点位置作为学生作业文本顶点位置；所述S3包括：S31：获取多帧学生学习陪护场景下的训练图像和对应的边缘图像；S32：依据所述训练图像，获取训练图像中的目标图像块和目标图像块中的多个目标像素点；S33：依据各所述目标像素点，确定各目标像素点与相邻像素点之间的像素对比度特征；S34：依据所述像素对比度特征，获取各目标像素点的结构化边缘响应；S35：对各目标像素点进行非极大抑制，确定各目标像素点的边缘方向，完成随机森林训练；S36：将所述目标图像输入训练完成的随机森林模型进行多尺度边缘检测，输出所述边缘检测图像；所述S5包括：S51：对所述单目深度图像进行梯度计算，提取出高于预设深度梯度阈值的区域图像；S52：对所述区域图像和所述边缘检测图像进行逐像素融合，得出融合后的二值图像；S53：对所述二值图像进行霍夫变换，获取初始边缘线段；S54：对所述初始边缘线段进行二次筛选，输出筛选后的目标线段；S55：依据所述目标线段，连接各目标线段，输出各目标线段之间的交点位置作为所述初步顶点位置；所述S54包括：S541：获取预设的线段长度阈值和预期边缘方向；S542：将初始边缘线段的线段长度与所述线段长度阈值进行比较，输出大于所述线段长度阈值的对应合格线段；S543：获取预设的角度阈值，将合格线段的方向与预期边缘方向之间的夹角与所述角度阈值进行比较，输出夹角小于所述角度阈值的对应线段作为所述目标线段；所述S6包括：S61：依据所述初步顶点位置，对初步顶点之间的几何特征进行特征提取，输出关键特征信息；S62：依据所述关键特征信息和预设的学生作业文本对应的标准特征信息，对所述初步顶点位置进行调整和校验，输出所述学生作业文本顶点位置；所述S62包括：S621：获取所述关键特征信息，其中，所述关键特征信息至少包括：对角线长度、对角线与水平线之间的目标夹角、边缘线段到顶点之间的距离、对边长度和内角角度；S622：依据所述对角线长度和所述目标夹角，对初步顶点进行预筛选，输出预筛选后符合预设的对角线特征的第一候选顶点；S623：依据最小二乘法，结合所述边缘线段到顶点之间的距离，对第一候选顶点进行补充筛选，输出筛选后的第二候选顶点；S624：依据所述对边长度和所述内角角度，对所述第二候选顶点进行校验，将校验成功的顶点位置作为所述目标顶点位置。

全文数据：

权利要求：

百度查询： 武汉星巡智能科技有限公司 基于文本角点检测的学习陪护方法、装置、机器人及介质