申请/专利权人：华东交通大学

申请日：2024-04-09

公开（公告）日：2024-06-21

公开（公告）号：CN118013962B

主分类号：G06F40/284

分类号：G06F40/284;G06F40/30;G06F40/289;G06N3/0442

优先权：

专利状态码：有效-授权

法律状态：2024.06.21#授权;2024.05.28#实质审查的生效;2024.05.10#公开

摘要：本发明提供一种基于双向序列生成的汉语篇章连接词识别方法，通过句子预处理及编码模块学习候选篇章连接词的初始语义向量表示，基于Longformer的段落编码模块通过全局注意力机制和局部注意力机制引入段落级别的上下文信息，计算候选篇章连接词的最终语义向量表示，基于双向序列生成的预测模块包括正向生成层和反向生成层，分别使用两个长短时记忆网络从左至右和从右至左预测篇章连接词序列，实现篇章连接词的识别，此外，通过后处理模块处理复合连接词的识别问题，并通过互学习代价增强的训练模块使正向生成层和反向生成层能相互学习，提升识别的性能，本发明能够充分捕获篇章连接词之间双向长距离的依赖关系，显著地提高汉语篇章连接词识别的性能。

主权项：1.一种基于双向序列生成的汉语篇章连接词识别方法，其特征在于，应用于汉语篇章连接词识别模型，所述汉语篇章连接词识别模型包括句子预处理及编码模块、基于Longformer的段落编码模块、基于双向序列生成的预测模块、后处理模块和互学习代价增强的训练模块；所述方法包括：通过句子预处理及编码模块对输入段落中的每个句子进行预处理，得到预处理后的句子，预处理过程包括中文分词、标记候选篇章连接词和拼接预定义占位符，然后通过预训练语言模型得到预处理后的句子中所有词条的初始语义向量表示；基于Longformer的段落编码模块通过全局注意力机制和局部注意力机制引入段落级别的上下文信息，在所有词条的初始语义向量表示的基础上，计算候选篇章连接词的最终语义向量表示；基于双向序列生成的预测模块包括正向生成层和反向生成层，以候选篇章连接词的最终语义向量表示为输入，正向生成层基于长短时记忆网络从左到右生成篇章连接词序列，以计算正向预测时每个候选篇章连接词为篇章连接词的概率分布，反向生成层基于长短时记忆网络从右到左生成篇章连接词序列，以计算反向预测时每个候选篇章连接词为篇章连接词的概率分布，并通过互学习代价增强的训练模块使正向生成层和反向生成层相互学习，然后对正向生成层和反向生成层计算的概率分布求平均值，将平均值作为每个候选篇章连接词为篇章连接词的最终预测结果，从而识别出篇章连接词；在后处理模块中，以基于双向序列生成的预测模块识别出的篇章连接词为输入，利用预定义的启发式规则对篇章连接词进行配对，以识别出输入段落中的复合篇章连接词；基于双向序列生成的预测模块满足以下条件式： ； ；其中，表示正向预测时第个候选篇章连接词为篇章连接词的概率分布，表示反向预测时第个候选篇章连接词为篇章连接词的概率分布，表示第个候选篇章连接词为篇章连接词的最终预测结果，表示归一化指数函数，和为正向生成层中需要学习的参数，为从左至右的长短时记忆网络，和为中的隐状态，是正向预测时基于注意力机制计算的输入段落中与第个候选篇章连接词相关的上下文信息的向量表示，表示正向预测时前一预测结果的向量表示，和为反向生成层中需要学习的参数，为从右至左的长短时记忆网络，和为中的隐状态，是反向预测时基于注意力机制计算的输入段落中与第个候选篇章连接词相关的上下文信息的向量表示，表示反向预测时前一预测结果的向量表示；通过互学习代价增强的训练模块满足以下条件式： ； 为训练基于Longformer的段落编码模块和正向生成层的代价函数，为训练反向生成层的代价函数，为基于Longformer的段落编码模块和正向生成层中的参数的集合，为反向生成层中的参数的集合，D为人工标注的训练数据集，CE为交叉熵代价计算函数，为第个候选篇章连接词为篇章连接词的真实概率分布，和为权重系数，MSE为基于均方误差的互学习代价计算函数。

全文数据：

权利要求：

百度查询： 华东交通大学 一种基于双向序列生成的汉语篇章连接词识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD