买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东师范大学

摘要：本发明公开了基于上下文关系注意力机制的表格序列识别方法及系统，其中，方法包括：获取待识别的表格图像；对待识别的表格图像，采用训练后的表格序列识别网络模型进行处理，得到识别出来的表格结构和每个单元格的内容；其中，表格序列识别网络模型，采用相互连接的编码器和解码器来实现，编码器用来提取特征，生成特征序列；解码器用来实现序列的识别。以一种序列到序列的识别方式，将表格结构转换为一种结构化标签进行识别，最终实现表格结构识别和单元格内容聚合。

主权项：1.基于上下文关系注意力机制的表格序列识别方法，其特征是，包括：获取待识别的表格图像；对待识别的表格图像，采用训练后的表格序列识别网络模型进行处理，得到识别出来的表格结构和每个单元格的内容；其中，表格序列识别网络模型，采用相互连接的编码器和解码器来实现，编码器用来提取特征，生成特征序列；解码器用来实现序列的识别；所述编码器采用的是CotNet50vd来实现，CotNet50vd是以ResNet50网络为基础进行改进得到的，以基于上下文关系的注意力结构Cot模块替换原有ResNet50网络的3*3卷积层；基于上下文关系的注意力结构Cot模块，包括并列的三条支路，其中第一条支路上设有卷积层b1，第二条支路上设有依次连接的连接器concat、卷积层b2、卷积层b3、乘法器和加法器J2，第三条支路上设有卷积层b3；卷积层b1、连接器concat和卷积层b3的输入端均与基于上下文关系的注意力结构Cot模块的输入端连接；卷积层b1的输出端与连接器concat的输入端连接；卷积层b1的输出端与加法器J2的输入端连接；卷积层b3的输出端与乘法器f1的输入端连接；加法器的输出端为基于上下文关系的注意力结构Cot模块的输出端；所述基于上下文关系的注意力结构Cot模块，通过3*3的卷积层b1对输入值进行上下文信息编码，得到关于输入值的静态上下文表达；然后，将输入值的静态上下文表达与输入值进行拼接，并通过两个连续的1*1卷积层，学习动态多头注意力矩阵；所得动态多头注意力矩阵与输入值相乘得到关于输入的动态上下文表达；将静态上下文表达与动态上下文表达进行融合，得到最终的输出值输出；解码器采用的注意力机制模型Attention和GRU的结合来实现；编码器提取的特征序列作为解码器的输入；注意力机制模型Attention根据每层GRU的输出和当前输入序列而更新输出权重；GRU用于实现特征序列到html序列的识别。

全文数据：

权利要求：

百度查询： 山东师范大学 基于上下文关系注意力机制的表格序列识别方法及系统