买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉理工大学

摘要：本发明提供基于大语言模型的幂等机制生成教育文本摘要方法，属于人工智能和自然语言处理领域，包括：收集多个数据源的语料，选择待摘要源文本；构建文本摘要模板；设计下游文本摘要的提示词，形成第一文本摘要；将第一文本摘要输入到大语言模型中，获得生成摘要及微调损失；根据单词序列的长度随机生成噪声文本，获得初次摘要；将初次摘要与下游文本摘要的提示词填充进文本摘要模板中形成第三文本摘要，将第三文本摘要输入至大语言模型，获得幂等摘要及幂等损失；将幂等损失加入微调损失中形成总体损失，将总体损失收敛作为训练截止条件，完成大语言模型的微调训练。本发明能解决教育垂域数据稀缺、摘要长度不稳定导致信息缺失或冗余的问题。

主权项：1.一种基于大语言模型的幂等机制生成教育文本摘要方法，其特征在于，包括以下步骤：S1收集多个数据源的语料，并初始化语料权重，根据语料权重选择待摘要源文本；S2构建文本摘要模板，包括提示词模板和源文本模板；S3设计下游文本摘要的提示词，将下游文本摘要的提示词与待摘要源文本填充进文本摘要模板中形成第一文本摘要；S4将第一文本摘要输入到大语言模型中，对第一文本摘要进行分词处理后得到单词序列，并将单词序列转换为索引表，以对大语言模型进行微调，获得生成摘要及微调损失；S5根据单词序列的长度随机生成噪声文本，将噪声文本作为源文本填充至文本摘要模板中，得到第二文本摘要，将第二文本摘要输入至大语言模型，获得初次摘要；S6将初次摘要与下游文本摘要的提示词填充进文本摘要模板中形成第三文本摘要，将第三文本摘要输入至大语言模型，获得幂等摘要及幂等损失；S7将幂等损失加入微调损失中形成总体损失，将总体损失收敛作为训练截止条件，完成大语言模型的微调训练；步骤S1包括：S11收集多个数据源的语料D=D1、D2…Dn，初始化语料权重W=W1、W2…Wn，其中，n为数据源的个数；S12将语料权重进行两两比较，选择最优的数据源的语料，两两比较的公式为： ；其中，Wi、Wj表示Di、Dj对应的语料权重，若，则选择数据源Di，并将其对应的文本摘要数据ti,si作为训练对象，若，则选择数据源Dj，并将其对应的文本摘要数据tj,sj作为训练对象，t表示对应文本摘要数据中的源文本，s表示对应文本摘要数据中的参考摘要；S13加载最优的数据源的语料作为训练目标进行训练，计算梯度反向传播，调整语料权重，并返回步骤S12重新比较语料权重；S14输出得到最终的一批最优数据源的语料，将其源文本作为待摘要源文本；步骤S4包括：S41创建分词器，将第一文本摘要进行分词处理，处理后的结果表示为分词表；S42将处理后的分词表输入分词器，将分词表映射为全部由数字组成的索引表；S43创建词嵌入模型，将词嵌入模型初始化；S44创建MLP模型，使用Sequential容器顺序连接两层线性层与Tanh激活函数组层MLP模型；S45将词嵌入模型与MLP模型组成前缀编码器PrefixEncoder；S46随机初始化前缀token，输入到前缀编码器PrefixEncoder，获得前缀KV缓存；S47训练阶段冻结除前缀编码器PrefixEncoder之外的所有梯度；S48预测得到生成摘要，与参考摘要进行对比，计算得到微调损失。

全文数据：

权利要求：

百度查询： 武汉理工大学 基于大语言模型的幂等机制生成教育文本摘要方法