龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：厦门大学
摘要：本发明公开一种用于长文本大语言模型的无偏增量式优化方法、电子设备和存储介质，实现对循环神经网络与自注意机制结合的方法进行优化，降低其训练开销，使得可以使用有限的计算资源来适配十万词元级别的文本的训练。本发明在现有的大语言模型的基础上，采用Lora方法进行微调，并添加一个对于输入文本的切片机制：对于每个所得的文本片段，在其后面添加少数可训练的记忆词元，通过训练这些记忆词元以及对模型本身的微调，让每个文本片段的内容迁移到对应的记忆词元中，最后将所有片段产生的记忆词元汇总到一起，作为上下文提供给大语言模型解码使用。
主权项：1.一种用于长文本大语言模型的无偏增量式优化方法，其特征在于包括以下步骤：步骤1、采用Lora方法对大语言模型进行微调；将大语言模型的原始输入文本进行片段切割，得到若干个文本片段；步骤2、对于每个文本片段：步骤2-1、首先进行前向传播，保留该文本片段中的记忆词元所对应的激活值，并将前向传播过程的最后一层输出与其输入右移一个token所得的标签进行计算交叉熵损失，得到该文本片段的语言建模损失，在前向传播的同时保留其计算图不销毁；步骤2-2、对语言建模损失进行反向传播算法，得到该文本片段的交叉熵损失对于在每一层中留下的记忆词元激活值的梯度，以及该交叉熵损失对于所有Lora微调参数的梯度；步骤3、设置固定大小的截断窗口，对所有文本片段应用淘汰机制；对于即将被淘汰出截断窗口的文本片段，将其产生的记忆词元激活值进行反向传播，并销毁其计算图，得到这些记忆词元激活值对于记忆词元本身以及Lora微调参数的梯度；步骤4、在所有文本片段依次处理完成之后，对截断窗口内剩余的文本片段产生的记忆词元进行反向传播，并销毁其计算图。
全文数据：
权利要求：
百度查询： 厦门大学 用于长文本大语言模型的无偏增量式优化方法、电子设备和存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号