申请/专利权人：华东交通大学

申请日：2024-04-23

公开（公告）日：2024-06-28

公开（公告）号：CN118095250B

主分类号：G06F40/205

分类号：G06F40/205;G06N3/08;G06N3/0455;G06F40/30;G06N5/025

优先权：

专利状态码：有效-授权

法律状态：2024.06.28#授权;2024.06.14#实质审查的生效;2024.05.28#公开

摘要：本发明提供一种细分领域增强的隐式篇章关系识别方法，应用于隐式篇章关系识别模型，所述隐式篇章关系识别模型包括基础编码模块、多个细分领域编码模块、综合领域编码及分类模块、细分领域训练模块和综合领域训练模块，对于来自不同细分领域的实例，模型能够基于多级增强层自动选择相应细分领域的知识，有利于提升识别的性能；本发明使用多个细分领域编码模块可以更好地保存各细分领域的知识，以避免集成到同一模块中可能造成的知识遗忘问题，各细分领域编码模块可以单独训练，在所含细分领域发生变化时，重新训练模型的代价较小。

主权项：1.一种细分领域增强的隐式篇章关系识别方法，其特征在于，应用于隐式篇章关系识别模型，所述隐式篇章关系识别模型包括基础编码模块、多个细分领域编码模块、综合领域编码及分类模块、细分领域训练模块和综合领域训练模块；所述方法包括：基础编码模块通过预训练语言模型学习输入实例的多层语义表示，然后提取预训练语言模型中预设层数的Transformer层的输出作为输入实例的多层语义表示；各个细分领域编码模块以输入实例的多层语义表示为输入，计算得到各个细分领域的多层语义表示，其中，每个细分领域编码模块包括多个适配层，且适配层的数量与输入实例多层语义表示的层数一致，每个适配层以对应的输入实例的语义表示以及上一个适配层的输出为输入，计算得到对应的适配层输出；综合领域编码及分类模块在各个细分领域的多层语义表示的基础上，学习输入实例在综合领域的多层语义表示，然后基于分类层进行隐式篇章关系识别；细分领域训练模块基于多个细分领域的显式篇章关系数据，分别对相应细分领域编码模块进行训练，综合领域训练模块基于人工标注隐式篇章关系数据，对综合领域编码及分类模块进行训练，直至模型收敛；细分领域编码模块的数量为K个，每个细分领域编码模块包括N个适配层，将输入实例的第层语义表示作为第个适配层的输入之一，每个适配层由依次堆叠的第一前向计算层、Transformer层和第二前向计算层组成，第个细分领域编码模块的第个适配层的输出的计算过程如下： ；其中，为第个细分领域编码模块的第个适配层的输出，为第个细分领域编码模块的第个适配层的输出，、和分别为第个细分领域编码模块的第个适配层中的第一前向计算层、第二前向计算层和Transformer层，为第个细分领域编码模块的第个适配层中的第一前向计算层的输出，为第个细分领域编码模块的第个适配层中的Transformer层的输出；综合领域编码及分类模块包括多个交替堆叠的适配层和增强层，最后叠加一个分类层；给定K个细分领域编码模块中所有第个适配层的输出、综合领域编码及分类模块中第个适配层的输出，综合领域编码及分类模块中第个增强层的输出的计算过程如下： ；其中，、分别为第1个、第K个细分领域编码模块的第个适配层的输出，为第个增强层的输出，为按列计算的注意力机制；对于第N个增强层的输出，分类层首先计算输入实例最终的语义向量表示，然后计算预测结果，具体如下： ；其中，为归一化指数函数，为按行进行最大池化操作，和为分类层中需要学习的参数；在细分领域训练模块中，在第个细分领域编码器的最上层叠加两个用于相应细分领域的分类层，一个分类层用于计算数据集中实例的连接词预测结果，为实例中的两个论元，为自然标注的连接词，为自动标注的篇章关系类别，为篇章关系类别的可信度，另一个分类层用于计算隐式篇章关系预测结果；细分领域训练模块满足以下表达式： ；其中，为第个细分领域编码器的训练代价，为第个细分领域编码器和叠加的两个分类层中需要训练的参数的集合，为从第个细分领域自动抽取的显式篇章关系数据集，为用于分类的交叉熵代价函数；综合领域训练模块满足以下表达式： ；其中，为综合领域编码及分类模块的训练代价，为综合领域编码及分类模块中需要训练的参数，为人工标注的综合领域的隐式篇章关系数据集，为中的实例，为实例中的两个论元，为人工标注的篇章关系类别，为实例经过综合领域编码及分类模块计算得到的预测结果。

全文数据：

权利要求：

百度查询： 华东交通大学 一种细分领域增强的隐式篇章关系识别方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD