龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：深圳乐行智慧产业有限公司
摘要：本发明涉及模型学习技术领域，更具体涉及基于模型拓印的垂类大模型生成方法、平台及存储介质。所述方法包括：步骤S1：将多个开源模型中性能最好的开源模型作为第一模型；步骤S2：基于预设领域的第一数据集对第一模型进行训练，调整第一模型的权重进行调整，并基于第一模型及第一数据集生成第二数据集；步骤S3：通过知识蒸馏训练第二模型，并根据第二数据集中第j数据对应的第输出结果与将第j数据输入第二模型输出的第输出结果，调整第二模型的权重；步骤S4：根据第二模型隐藏层的位置及神经元数量来压缩第二模型。本发明解决了大模型复杂度高且精度不高的问题，降低了大模型的复杂度并提高了精度。
主权项：1.一种基于模型拓印的垂直类大模型生成方法，其特征在于，所述方法包括：步骤S1：将多个开源模型中性能最好的所述开源模型作为预训练模型，并在所述预训练模型的每一隐藏层m1个神经元中任意选取m2个所述神经元作为备选模型，并获取多个所述备选模型，并从多个所述备选模型中选取性能最优的作为第一模型；步骤S2：基于预设领域的第一数据集对所述第一模型进行训练，并根据所述第一数据集中第i训练数据、第输出结果及第i答案对所述第一模型的权重进行调整，并基于所述第一模型及所述第一数据集生成第二数据集；步骤S3：基于所述第一模型和所述第二数据集，并通过知识蒸馏训练第二模型，将所述第二数据集中第j数据输入所述第二模型，获取第输出结果，并基于所述第输出结果与所述第二数据集中所述第j数据对应的第输出结果调整所述第二模型的权重；步骤S4：根据所述第二模型隐藏层的位置及神经元数量来减重所述第二模型；其中，所述预训练模型包括n1个隐藏层，每一所述隐藏层包括m1个神经元，所述第二模型包括n1个隐藏层，每一所述隐藏层包括m2个神经元，m1大于m2。
全文数据：
权利要求：
百度查询： 深圳乐行智慧产业有限公司 基于模型拓印的垂类大模型生成方法、平台及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号