申请/专利权人：杭州电子科技大学

申请日：2021-04-29

公开（公告）日：2024-06-21

公开（公告）号：CN113378841B

主分类号：G06V30/148

分类号：G06V30/148;G06V30/19;G06V30/14;G06N3/0464;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2021.09.28#实质审查的生效;2021.09.10#公开

摘要：本发明公开了一种基于级联目标检测的指向文字定位方法，包括以下步骤：步骤S1：数据生成及预处理；步骤S2：创建模型并训练；步骤S3：训练好网络后，利用实际摄像头拍摄的图像，经预处理后输入网络，得出标志物在图像中的位置和大小，以及指向单词文字坐标和大小。与现有技术相比，本发明采用基于级联深度神经网络的目标检测技术，精确地定位指向文字的区域，为字符识别提供可靠的文字区域，大大提高字符识别的精度。

主权项：1.一种基于级联目标检测的指向文字定位方法，其特征在于，包括以下步骤：步骤S1：数据生成及预处理；步骤S2：创建模型并训练；步骤S3：训练好网络后，利用实际摄像头拍摄的图像，经预处理后输入网络，得出标志物在图像中的位置和大小，以及指向单词文字坐标和大小；其中，所步骤S1包括：步骤S11：合成训练集，采集标志物图像，生成单词字符，把标志物图像随机移动放缩放置到某个单词下面，生成一张训练用的图像；步骤S12：利用已知的标志物和单词位置大小信息，得到标志物的位置大小信息VMLoc＝[xm,ym,wm,hm]，分别表示以标志物顶端中心的横纵坐标以及标志物的宽度高度；以及指向单词信息VWLoc＝[xw,yw,ww,hw]，分别表示指向单词在裁剪图的横纵坐标和大小；步骤S13：建立训练用的groundtruth数据，也即，建立标志物出现位置大小信息，以预测标志物和指向单词两个标签的信息；所述步骤S2包括：步骤S21：建立深度神经网络，采用通用的ResNet-18为主干网络，采用级联两级网络输出两个目标的信息：第一级网络输出标志物的概率、位置和大小回归预测，第二级网络输出指向单词的位置和大小回归预测；步骤S22：将原始高分辨率图像缩放到224×224大小的图像输入网络，通过卷积层、池化层和激活层输出最后的标志物信息，第一级输出预测的大小是1×5，用于预测标志物是否出现的概率和标志物的位置大小，再依据标志物，截取感兴趣区域图像输入到第二级网络，输出指向单词文字的位置坐标和大小；步骤S23：先训练标志物网络，也即第一级网络，采用全图预测出标志物，再依据标志物的位置信息裁剪第一级前面的特征图送入第二级网络进行指向单词的预测，以让级联的网络都能训练稳定；步骤S24：把训练样本和目标真实值不断地输入到网络，使用误差反向传播进行每一层网络参数的调整，不断的迭代训练，最终实现收敛，得到网络模型；其中，深度神经网络要实现对两类的样本的预测，每种样本对应的损失也是不同的，所以在最后要融合不同类型的损失，再驱动网络更新，最终是让总损失趋于最小，直到损失稳定不动，网络训练结束；在所述步骤S24中，第一级网络总的损失函数有两个部分，第一部分是标志物的预测概率损失，采用交叉熵损失函数：LossMProb＝glogp+1-plog1-g其中，g是标志物出现的真实概率，值为0或者1，p是标志物的预测概率，其已经经过Softmax函数激活；第二部分是标志物的位置和大小的预测损失，采用SmoothL1损失函数： 其中，x为预测位置大小与真实值差值，SmoothL1损失函数，其对离群点、异常值不敏感，梯度变化相对更小，训练时更平稳；最后总损失函数如下：LossM＝αLossMProb+βLossMLocα是对标志物概率损失的权重，β是标志物位置大小损失的权重；第二级网络是指向单词的预测损失，也是采用SmoothL1损失函数，记为LossWLoc。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种基于级联目标检测的指向文字定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD