龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国电信股份有限公司技术创新中心;中国电信股份有限公司
摘要：本公开实施例提供了一种分布式训练的通信方法以及相关设备，涉及深度学习领域。该方法包括：在执行分布式训练任务的迭代训练过程中，获得多个工作节点中的各个工作节点的目标梯度数据，通过多轮通信向多个工作节点传输各个工作节点的目标梯度数据；对于多轮通信中的每一轮通信，确定各个工作节点在每一轮通信中的通信路径，按照各个工作节点在每一轮通信中的通信路径，将各个工作节点当前所具有的目标梯度数据发送至在每一轮通信中各个工作节点对应的数据接收节点。该方法中各个工作节点在不同轮通信中能够选择合适的通信路径进行数据传输，避免选择慢的通信路径进行数据传输，从而改善尾部延迟问题。
主权项：1.一种分布式训练的通信方法，其特征在于，所述方法包括：在执行分布式训练任务的迭代训练过程中，获得多个工作节点中的各个工作节点的目标梯度数据，通过多轮通信向所述多个工作节点传输所述各个工作节点的目标梯度数据；所述各个工作节点的目标梯度数据用于表示在执行所述分布式训练任务时各个工作节点计算得到的损失函数相对于模型参数的梯度；对于多轮通信中的每一轮通信，确定各个工作节点在每一轮通信中的通信路径，按照所述各个工作节点在每一轮通信中的通信路径，传输所述各个工作节点的当前梯度数据；所述各个工作节点在每一轮通信中的通信路径用于指示在每一轮通信中所述各个工作节点对应的数据接收节点，所述各个工作节点的当前梯度数据是所述各个工作节点当前所具有的目标梯度数据。
全文数据：
权利要求：
百度查询： 中国电信股份有限公司技术创新中心 中国电信股份有限公司 分布式训练的通信方法以及相关设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号