买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种桥接式的端到端文字识别方法，涉及计算机视觉与人工智能技术领域，包括：获取训练好的文本检测模型和文本识别模型，并冻结文本检测模型和文本识别模型的训练参数；获取待处理文本特征图，将待处理文本特征图输入至训练好的文本检测模型中，获得文字区域和文字区域特征；将文字区域和文字区域特征输入桥接转换模型中，获得文字区域融合特征；将文字区域融合特征输入至训练好的文本识别模型，获取识别结果。本发明识别准确率高、鲁棒性强，适用于各种文本检测网络和识别网络。

主权项：1.一种桥接式的端到端文字识别方法，其特征在于，包括：获取训练好的文本检测模型和文本识别模型，并冻结所述文本检测模型和所述文本识别模型的训练参数；所述文本检测模型采用基于Transformer的文本检测网络，所述基于Transformer的文本检测网络包括动态Transformer编码器和动态Transformer解码器；其中，所述动态Transformer编码器包括第一动态多尺度注意力机制、第一激活层、第一Dropout操作单元、第一全连接层、第一LayerNorm归一化操作单元和第二全连接层，所述第一动态多尺度注意力机制、所述第一激活层、所述第一Dropout操作单元、所述第一全连接层、所述第一LayerNorm归一化操作单元和所述第二全连接层依次连接；所述动态Transformer解码器包括动态查询单元、多头注意力机制、第二动态多尺度注意力机制、第二激活层、第二Dropout操作单元、第三全连接层、第二LayerNorm归一化操作单元和第四全连接层，所述动态查询单元、所述多头注意力机制、所述第二动态多尺度注意力机制、所述第二激活层、所述第二Dropout操作单元、所述第三全连接层、所述第二LayerNorm归一化操作单元和所述第四全连接层依次连接；获取待处理文本特征图，将所述待处理文本特征图输入至训练好的所述文本检测模型中，获得文字区域和文字区域特征；将所述文字区域和所述文字区域特征输入桥接转换模型中，获得文字区域融合特征，其中，所述桥接转换模型连接所述文本检测模型和所述文本识别模型；所述桥接转换模型包括第一零值全连接层、Transformer编码器和第二零值全连接层；所述第一零值全连接层、Transformer编码器和第二零值全连接层依次连接；其中，所述第一零值全连接层的权重随训练进程的增长而增长，所述第一零值全连接层、所述第二零值全连接层用于适应新引入的检测的特征，所述Transformer编码器用于对引入的特征进行全局建模；将所述文字区域融合特征输入至训练好的所述文本识别模型，获取识别结果；所述文本识别模型采用基于Transformer的识别网络，所述基于Transformer的识别网络包括Transformer编码器和Transformer解码器；其中，通过基于掩码自监督方法预训练所述Transformer编码器，采用梯度下降法对所述基于Transformer的识别网络进行训练。

全文数据：

权利要求：

百度查询： 华南理工大学 一种桥接式的端到端文字识别方法