龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：芯安微众(上海)微电子技术有限公司
摘要：本公开涉及人工智能技术领域，尤其涉及大语言模型的知识蒸馏微调方法、装置、设备及存储介质，方法包括：加载大语言模型，获取训练数据和专家经验函数，构建模板引擎、经验总结器和目标函数，通过目标函数实现经验总结器对专家经验的蒸馏学习，通过对经验总结器训练得到优化编码器，对解码器进行模板式对齐训练得到优化解码器；对由优化编码器和优化解码器组成的大语言模型进行联合对齐训练，得到目标大语言模型；本方案中通过蒸馏学习使大语言模型对输入信息进行多维度处理，可以为用户提供更加个性化和定制化的服务，也可以使模型更加鲁棒，还可以使最终得到的目标大语言模型具备更高的准确性。
主权项：1.一种大语言模型的知识蒸馏微调方法，其特征在于，包括：加载预训练的大语言模型，所述大语言模型包括植入混合微调组件的编码器和植入所述混合微调组件的解码器；获取训练数据和专家经验函数，所述专家经验函数根据多个分类函数和每一所述分类函数对应的权重构建而成；构建模板引擎，并利用所述模板引擎对所述训练数据进行序列化处理，得到所述训练数据对应的文本单元序列；构建经验总结器和目标函数，通过所述目标函数实现所述经验总结器对专家经验的蒸馏学习，并利用所述文本单元序列和预构建的第一损失函数对所述经验总结器中的微调参数进行优化，将优化后的所述微调参数更新至所述编码器中，得到优化编码器；利用预构建的第二损失函数和所述文本单元序列对所述解码器进行模板式对齐训练，以对所述解码器中的微调参数进行优化，得到优化解码器；利用预构建的第三损失函数和所述文本单元序列对由所述优化编码器和所述优化解码器组成的大语言模型进行联合对齐训练，以对所述优化编码器中的微调参数进行优化，得到目标大语言模型。
全文数据：
权利要求：
百度查询： 芯安微众(上海)微电子技术有限公司 大语言模型的知识蒸馏微调方法、装置、设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号