买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京航空航天大学申请的专利一种低资源场景下的文本生成方法、装置及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114611472B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210308980.6，技术领域涉及：G06F40/166；该发明授权一种低资源场景下的文本生成方法、装置及系统是由李建欣;毛乾任;刘骏楠;蒋为峰;邓婷;邰振赢设计研发完成，并于2022-03-28向国家知识产权局提交的专利申请。

本一种低资源场景下的文本生成方法、装置及系统在说明书摘要公布了：本发明提出了一种低资源场景下的文本生成方法、装置与系统，包括：步骤一，为有监督网络输入少量的有监督训练样本，同时为无监督网络输入大量的无监督训练样本，并对无监督文档复制两份，再分别对其嵌入向量进行dropout，得到两组嵌入向量；步骤二，为大型预训练文本生成网络并行集成适配器的小型神经网络，组成基于适配器微调的预训练学习组件；步骤三，对有监督网络与无监督网络采用基于适配器微调预训练学习组件，对无监督网络进行一致性学习，并结合有监督网络的有监督学习进行文本生成模型的训练与优化，并利用优化好的模型进行预测。本发明方案减少了对大量的人工标注数据的依赖，并使得模型训练过程训练开销也大幅降低。

本发明授权一种低资源场景下的文本生成方法、装置及系统在权利要求书中公布了：1.一种低资源场景下的文本生成方法，其特征在于，包括三个步骤：步骤一，为有监督网络输入少量的有监督训练样本，并对应小规模输入训练样本文档的嵌入向量，同时为无监督网络输入大量的无监督训练样本，即为开放式语料中获取的大量的不包含人工标注的源文档数据，并对无监督文档复制两份，再分别对其对应的嵌入向量行了进行dropout，得到两组嵌入向量；步骤二，为大型预训练文本生成网络并行集成一个适配器的小型神经模块，组成适配器微调预训练学习组件，在有监督网络T，和两个一致性的无监督网络A和B中，采用同样的网络架构的适配器微调预训练学习组件，在适配器微调预训练学习组件中，外加的小型适配器神经模块参与模型训练，而原来的大型的预训练文本生成模块需要保持参数冻结，具体而言，其中，在所述有监督网络T中进行有监督训练，训练过程的输入为有监督源文档-目标文本对x*,y*，在无监督网络A和无监督网络B中进行无监督一致性学习，训练过程的输入为x，所述无监督网络A和所述无监督网络B输出为其预测标签，一致性学习则是使得他们的预测标签一致；其中，在基于适配器微调的预训练学习组件中，网络的输入为嵌入向量表示为:Hinput，输出表示向量为:对于所述有监督网络T，Hinput为x*的嵌入向量，对于所述无监督网络A，Hinput为x对应dropout的嵌入向量，对于所述无监督网络B，Hinput为x复制后进行另外一次dropout的嵌入向量，Hinput同时输入到大型的预训练文本生成网络与小型的适配器网络中，在训练过程中该组件保持大型预训练文本生成模型部分的参数冻结，即参数不参与反向传播的参数学习与更新过程，只有适配器小型神经网络的参数参与更新计算；在基于适配器微调的预训练学习组件中，采用的适配器小型神经网络前向部分的更新参数为Win，通过非线性激活函数对嵌入向量进行非线性优化，再输入适配器的后项部分，利用其更新参数Wout对适配器进行训练，适配器的输出表示向量为 进而，结合大型预训练文本生成模型的输出表示向量与其线性相加后得到适配器微调预训练学习组件的最后的输出表示向量 步骤三，基于无监督网络的一致性学习，并结合有监督网络的有监督学习进行文本生成模型的训练与优化，对所述无监督网络A和所述无监督网络B进行所述无监督一致性学习，让两个所述无监督的预训练文本生成神经网络的预测目标一致，无监督学习的损失函数lunsup为： 其中，SA和SB分别表示具体的所述无监督网络A与所述无监督网络B，是一对孪生网络，在抽取式文本生成中无监督网络A和B为BERT并行集成Adapter，在生成式文本生成中为无监督网络A和B为BART并行集成Adapter，Xu为输入的无监督文本生成数据集，和表示经过增强数据增强后的输入值，即分别经过dropout后得到的两组不同的嵌入向量表示；同时，联合优化有监督网络的有监督学习，进行有监督文本生成模型的训练，有监督学习的损失函数lsup为； 其中，Tx*表示有监督网络，是所述无监督网络SA和SB的孪生网络，在抽取式文本生成中为BERT并行集成Adapter；在生成式文本生成中为BART并行集成Adapter，Xl为输入的有人工标注的文本生成数据集，x*和y*分别表示源文档数据和其对应的人工标注的目标文本数据：最后，联合无监督网络的一致性学习与有监督网络的有监督学习，得到最终的损失函数lfinal，用于模型的训练与优化：lfinalθ,X＝λlunsupθ,Xu+lsupθ,Xl,X＝Xu+Xl 其中，λ为超参数，代表无监督一致性学习的训练部分在整个模型训练过程中的重要程度，θA为小型适配器神经模块的参数，θB为大型预训练文本生成模块BERT或者BART的参数，θ为整个模型的参数，m为epoch数；在梯度反向计算时，θB在每个epoch没有跟更新，即不参与梯度反向计算，而θA会随着训练过程在每个epoch里更新学习参数；最后利用优化好的模型进行文本生成预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学，其通讯地址为：100191 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。