龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：厦门渊亭信息科技有限公司
申请日：2024-01-29
公开（公告）日：2024-05-07
公开（公告）号：CN117992220A
主分类号：G06F9/50
分类号：G06F9/50;G06F9/48;G06N3/08
优先权：
专利状态码：在审-实质审查的生效
法律状态：2024.06.04#实质审查的生效;2024.05.07#公开
摘要：本发明提供一种基于改进ZeRO‑Offload技术的大模型训练方法，通过优化内存使用、提高计算效率以及优化数据加载和并行计算，有效处理大规模模型训练时的内存和计算资源挑战；使用ZeRO技术对模型参数进行压缩和去重，通过量化、哈夫曼编码等操作减少参数冗余，降低显存消耗；利用Offload技术将计算任务分配给可扩展的计算资源，将计算密集型任务如前向传播、反向传播等迁移到GPU进行计算，实现计算能力的线性扩展；优化数据加载和并行计算，通过数据预处理、批量处理等方式提高数据加载效率；通过多线程、多进程等方式实现并行计算，进一步提高训练速度；本发明还提出一种动态显存分配策略，根据当前显存使用情况和任务需求，动态调整模型参数的存储方式和计算任务的分配，以最大化利用显存资源。
主权项：1.一种基于改进ZeRO-Offload技术的大模型训练方法，其特征在于，所述方法包括：步骤1，准备训练数据和模型参数；步骤2，使用ZeRO技术对模型参数进行处理，该处理包括：根据模型参数得到参数集合，将其中连续的非零参数分割成单独的参数子集，并将对应的连续非零参数的个数作为表征该参数子集的权值，将该权值与所述参数子集组合，得到处理后的若干参数子集，并通过量化、哈夫曼编码减少参数冗余；步骤3，利用Offload技术将计算任务分配给可扩展的计算资源，其中包括：将计算任务进行分片，将所述分片从主内存卸载，分配给可扩展的计算资源，在主内存中将所述分片的计算结果合并；步骤4，将计算密集型任务，其包括前向传播、反向传播，迁移到GPU进行计算；步骤5，根据动态显存分配策略动态调整所述处理后的若干参数子集的存储方式和分片后的计算任务的分配；重复步骤4和5直到训练完成；步骤6，保存训练得到的模型参数和优化结果，其中包括：分别调用参数子集训练模型，得到不同的优化结果，从中选择精度匹配度最高的优化结果；或者，将调用的参数子集进行合并，训练模型得到唯一的优化结果，判断其精度的匹配度是否达标。
全文数据：
权利要求：
百度查询： 厦门渊亭信息科技有限公司 一种基于改进ZeRO-Offload技术的大模型训练方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号