Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜之江实验室董建敏获国家专利权

恭喜之江实验室董建敏获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜之江实验室申请的专利一种模型训练方法、装置和计算机设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119203043B

龙图腾网通过国家知识产权局官网在2025-03-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411719444.0,技术领域涉及:G06F18/25;该发明授权一种模型训练方法、装置和计算机设备是由董建敏;彭弘毅;高翔设计研发完成,并于2024-11-28向国家知识产权局提交的专利申请。

一种模型训练方法、装置和计算机设备在说明书摘要公布了:本申请涉及一种模型训练方法、装置和计算机设备。所述方法包括:获取与目标任务相关的多模态训练样本;多模态训练样本,包括文本、语音和图像中的至少两种样本;目标任务,为视觉处理、语音处理或语言处理中的一种;基于获取到的多模态训练样本,与待训练大模型,构建与目标任务相关的攻防博弈模型;基于攻防博弈模型,剔除多模态训练样本中影响待训练大模型的模型训练收敛速度的目标样本,得到精简后的样本;利用精简后的样本,对待训练大模型进行训练,得到训练后的大模型。采用本方法能够解决了现有的大模型的训练方法,因为存在影响大模型训练效率的样本,导致在进行大模型训练的过程中,存在占用计算资源过多的问题。

本发明授权一种模型训练方法、装置和计算机设备在权利要求书中公布了:1.一种模型训练方法,其特征在于,所述方法包括:获取与目标任务相关的多模态训练样本;所述多模态训练样本,包括文本、语音和图像中的至少两种样本,其中,所述至少两种样本中,其中一种为与所述目标任务相关的样本种类;所述目标任务,为视觉处理、语音处理或语言处理中的一种;基于获取到的与所述目标任务相关的所述多模态训练样本,以及与所述目标任务相关的待训练大模型,构建与所述目标任务相关的攻防博弈模型;所述攻防博弈模型中,攻击模型作为所述攻防博弈模型的顶层,表示为:;其中,以目标攻击样本的扰动值作为所述攻击模型的输入,以对与所述目标任务相关的所述待训练大模型的训练的第k步与第k-1步之间的梯度差值作为所述攻击模型的输出,当与所述目标任务相关的所述待训练大模型的训练的第k步与第k-1步之间的梯度差值满足预设的攻击样本筛选条件时,筛选出满足条件的目标攻击样本;基于所述攻击模型,筛选出满足条件的所述目标攻击样本的过程表示为:;所述攻防博弈模型中,防御模型作为所述攻防博弈模型的底层,表示为:;所述防御模型根据输入的训练样本反馈模型训练误差,即反馈模型的目标函数值;其中,为惩罚因子,为阈值因子,;的计算过程为:;gk为对与所述目标任务相关的所述待训练大模型的训练的第k步的梯度值,gk-1为对与所述目标任务相关的所述待训练大模型的训练的第k-1步的梯度值;gk的计算过程为:;其中,w为与所述目标任务相关的所述待训练大模型的模型参数,J为与所述目标任务相关的所述待训练大模型的训练目标函数,x´为调整后的目标攻击样本,,其中,x为所述目标攻击样本,为所述目标攻击样本的扰动值;基于与所述目标任务相关的所述攻防博弈模型,确定目标攻击样本;所述目标攻击样本,为在对所述待训练大模型训练时,存在前后两步之间的梯度差值大于或等于预设的梯度差值阈值的情况的样本;基于所述目标攻击样本,剔除与所述目标任务相关的所述多模态训练样本中的目标样本,得到精简后的样本;所述基于所述目标攻击样本,剔除与所述目标任务相关的所述多模态训练样本中的目标样本,得到精简后的样本,包括:计算各个所述目标攻击样本在所述攻防博弈模型中的解,得到各个所述目标攻击样本的扰动值;基于各个所述目标攻击样本的扰动值,对各个所述目标攻击样本进行调整,得到各个调整后的目标攻击样本;分别计算各个调整后的所述目标攻击样本,与各个所述多模态训练样本之间的相似性,得到各个调整后的所述目标攻击样本,与各个所述多模态训练样本之间的相似性结果;将所述多模态训练样本中,与各个调整后的所述目标攻击样本之间相似性结果大于或等于预设的相似性阈值的样本,作为所述目标样本;从与所述目标任务相关的所述多模态训练样本中,剔除所述目标样本,得到所述精简后的样本;所述目标样本,为影响所述待训练大模型的模型训练收敛速度的样本;利用所述精简后的样本,对与所述目标任务相关的所述待训练大模型进行训练,得到与所述目标相关的训练后的大模型。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人之江实验室,其通讯地址为:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。