买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本申请实施例属于人工智能和智慧城市领域，应用于文字领域中，涉及一种基于全局语义的文字图像识别方法、装置、计算机设备及存储介质，方法包括获取待识别文字图像；通过视觉特征提取模型的视觉部分对所述待识别文字图像进行视觉特征提取，通过视觉特征提取模型的时序部分对提取到的视觉特征进行时序信息提取，得到待识别文字图像的视觉特征矩阵；对视觉特征矩阵进行全局语义提取，得到待识别文字图像的全局语义特征；以全局语义特征为状态参数，通过注意机制对视觉特征矩阵进行特征解码，得到待识别文字图像的识别文本。本申请还涉及区块链技术，待识别文字图像以及识别文本可存储于区块链中。本申请可以提高对于低质量图像的文本识别准确度。

主权项：1.一种基于全局语义的文字图像识别方法，其特征在于，包括下述步骤：获取待识别文字图像；通过预训练的视觉特征提取模型的视觉部分对所述待识别文字图像进行视觉特征提取，以及通过预训练的视觉特征提取模型的时序部分对提取到的视觉特征进行时序信息提取，得到所述待识别文字图像的视觉特征矩阵，其中，所述预训练的视觉特征提取模型的视觉部分为联合训练后的视觉特征提取网络，所述预训练的视觉特征提取模型的时序部分为训练好的第一时序信息提取网络，所述训练好的第一时序信息提取网络用于在视觉层面提取时序信息；对所述视觉特征矩阵进行全局语义提取，得到所述待识别文字图像的全局语义特征；以所述全局语义特征为状态参数，通过训练好的解码模型中的注意机制对所述视觉特征矩阵进行特征解码，得到所述待识别文字图像的识别文本；在所述通过预训练的视觉特征提取模型的视觉部分对所述待识别文字图像进行视觉特征提取，以及通过预训练的视觉特征提取模型的时序部分对提取到的视觉特征进行时序信息提取，得到所述待识别文字图像的视觉特征矩阵的步骤之前，还包括：构建基于卷积神经网络的视觉特征提取网络，所述视觉特征提取网络包括预设数量的第一卷积层以及与所述第一卷积层一一对应的第二卷积层，所述第二卷积层用于将上一第二卷积层的卷积结果与对应的第一卷积层的卷积结果进行卷积计算；构建基于递归神经网络的第一时序信息提取网络，所述第一时序信息提取网络包括与所述第二卷积层一一对应的时序处理单元，所述时序处理单元用于对上一时序处理单元的处理结果与对应的第二卷积层的卷积结果进行时序处理；通过预先构建的第一数据集，对所述视觉特征提取网络进行预训练，得到预训练好的视觉特征提取网络；通过预先构建的第二数据集，对所述预训练好的视觉特征提取网络以及所述第一时序信息提取网络进行联合训练，得到联合训练后的视觉特征提取网络与训练好的第一时序信息提取网络；所述通过预先构建的第一数据集，对所述视觉特征提取网络进行预训练，得到预训练好的视觉特征提取网络的步骤包括：获取样本文字图像；将所述样本文字图像中文字部分按文字或语句排布规则逐字进行勾画，得到所述样本文字图像中每个文字对应的文字勾画图；以对应的所述文字勾画图为所述样本文字图像的图像标签，构建所述第一数据集，并将所述第一数据集分为训练集与测试集；在训练过程中，针对所述训练集，通过所述视觉特征提取网络的掩码输出层输出所述样本文字图像的掩码结果；计算所述掩码结果与所述文字勾画图的误差损失，以最小化误差损失为目标，对视觉特征提取网络进行迭代训练，直到所述视觉特征提取网络在测试集中收敛或者达到预设的迭代次数为止，完成对所述视觉特征提取网络的预训练，得到预训练好的视觉特征提取网络。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 基于全局语义的文字图像识别方法、装置及计算机设备