申请/专利权人：招商局智融供应链服务有限公司

申请日：2022-10-08

公开（公告）日：2024-06-04

公开（公告）号：CN115439850B

主分类号：G06V30/10

分类号：G06V30/10;G06V30/19;G06V10/82;G06N3/0464;G06N3/045;G06N3/0442;G06N3/084

优先权：

专利状态码：有效-授权

法律状态：2024.06.04#授权;2023.12.26#专利申请权的转移;2022.12.23#实质审查的生效;2022.12.06#公开

摘要：本发明涉及人工智能技术，揭露了一种基于审单的图文字符识别方法、装置、设备及存储介质。所述方法包括：获取用户输入的待审核单据图像，并根据预设的文字清洗策略对所述待审核单据图像进行基于文字调整及水印消除的处理操作，得到干净图像；根据预设的模型构建策略，获取预训练的字符识别模型，并利用所述字符识别模型中的改进DB网络对所述干净图像进行图像特征提取操作及图像裁剪操作，得到裁剪图像集合；利用所述字符识别模型的改进文字识别网络对所述裁剪图像集合进行文字识别，得到所述待审核单据图像对应的字符识别结果。本发明可以提高基于审单的图文字符识别的准确性。

主权项：1.一种基于审单的图文字符识别方法，其特征在于，所述方法包括：获取用户输入的待审核单据图像，并根据预设的文字清洗策略对所述待审核单据图像进行基于文字调整及水印消除的处理操作，得到干净图像；根据预设的模型构建策略，获取预训练的字符识别模型，并利用所述字符识别模型中的改进DB网络对所述干净图像进行图像特征提取操作及图像裁剪操作，得到裁剪图像集合；利用所述字符识别模型的改进文字识别网络对所述裁剪图像集合进行文字识别，得到所述待审核单据图像对应的字符识别结果；所述根据预设的模型构建策略，获取预训练的字符识别模型，包括：获取一个基于DB网络的包含卷积神经网络与FPN结构的文字检测网络，及一个基于CRNN的包含卷积神经网络与BiLSTM的文字识别网络；根据预设的模型构建策略，分别对预构建的第一EfficientNet网络及第二EfficientNet网络进行预设位置的批归一化及激活函数删除操作，得到改进第一EfficientNet网络及改进第二EfficientNet网络；利用所述改进第一EfficientNet网络，替换预构建的DB网络中的残差神经网络，得到改进DB网络；利用所述改进第二EfficientNet网络，替换所述文字识别网络中的卷积神经网络，并利用预构建的transformer网络替换所述文字识别网络中的BiLSTM网络，得到改进文字识别网络；利用所述改进DB网络及所述改进文字识别网络，构建字符识别模型；获取预构建的聚焦骰子损失和交叉熵损失及预设的辅助任务配置，所述获取预构建的聚焦骰子损失，包括获取一个聚焦损失focalloss及所述改进DB网络的骰子损失diceloss：focalloss＝absgx,y-px,yγlx,y 其中，所述x，y是图像像素的坐标，px,y是x，y处的网络预测值，gx,y是x，y处的真实标签值，lx,y是原始损失，γ是调制因子；将所述聚焦损失与所述骰子损失进行加权，得到聚焦骰子损失focaldiceloss： 对所述字符识别模型进行训练，得到训练完成的字符识别模型，包括：根据预设的辅助训练策略，利用交叉熵损失对所述字符识别模型的改进DB网络的第一目标层及所述transformer网络的第二目标层进行模型内部任务损失配置；从预构建的训练集中批次提取训练样本，并利用所述字符识别模型对所述训练样本进行网络正向识别，得到最终预测结果；根据所述聚焦骰子损失，计算所述最终预测结果与所述训练样本的真实标签值之间的损失值；根据所述损失值逆向传播计算模型参数的梯度，并将所述模型参数进行网络逆向更新，得到更新字符识别模型；利用预构建的测试样本集，利用所述测试样本集计算所述更新字符识别模型的模型精度；判断所述模型精度是否达到预设需求；所述模型精度未达到预设需求时，返回上述从预构建的训练集提取训练样本的步骤，对所述更新字符识别模型进行迭代更新；当模型精度达到预设需求时，将最后更新的所述更新字符识别模型作为训练完成的字符识别模型。

全文数据：

权利要求：

百度查询： 招商局智融供应链服务有限公司 基于审单的图文字符识别方法、装置、设备及存储介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD