买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西南大学

摘要：本发明涉及一种基于迭代处理的主对偶分布式加速优化方法，属于大规模机器学习分布式优化技术领域。该方法基于迭代处理的分布式计算方式，采用Nesterov梯度加速技术，主要包括以下步骤：S1：确定目标函数；S2：搭建通信网络；S3：变量初始化；S4：选取合适的步长和动量参数；S5：变量更新。本方法采用分布式计算方式，具有广泛的应用领域，例如：机器学习、信号与信息处理、资源分配等；同时，采用Nesterov梯度加速技术，极大地提高了所提算法的收敛速度。本方法为无向通信网络下的分布式优化的应用奠定了理论基础，扩大了其应用范围。

主权项：1.一种基于迭代处理的主对偶分布式加速优化方法，其特征在于：该方法基于迭代处理的分布式计算方式，采用Nesterov梯度加速技术，主要包括以下步骤：S1：确定目标函数；S2：搭建通信网络；S3：变量初始化；S4：选取合适的步长和动量参数；S5：变量更新；在步骤S1中，确定目标函数以及目标函数的强凸系数μ和利普希茨常数l，其中l≥μ＞0，具体包括：设定目标函数：Pl其中，每个局部目标函数，fi：Rn→R只被节点i知道；同时，每个局部目标函数fi是强凸且利普希茨连续的，强凸系数和利普希茨常数分别为μ和l，即：对于以及x1，x2∈Rn有以及其中表示fi的梯度；问题P1的最优解用表示；分析问题P1的等价形式如下： 约束xi＝xj是为了使每个节点局部最优解一致；在步骤S2中，搭建无向通信网络构建与网络拓扑相关的双随机矩阵W；考虑含有m个节点的无向连通通信网络，其中表示节点集，ε表示无向边集，即：对于如果节点i和节点j之间存在通信链路，用i,j表示，有i,j∈ε；用表示节点i的邻居节点集合，该集合也包含节点i自身；如果以及j,i∈ε，有Wij＞0且定义L＝Im-W和可调矩阵其中B是一个对称矩阵且满足：对于任意y*∈Rn，存在常数c∈R使得在步骤S3中，每个节点设置k＝0以及一个最大迭代次数kmax；每个节点i持有三个变量：si，xi，ui；主变量si和xi都是对局部最优解的估计，对偶变量ui是一个辅助变量；在第k次迭代时刻，三个变量的值分别表示为对每个节点所持的所有变量进行初始化设置：设置定义参数：σ＝||W-Jm||，ε＝||Im-W||，选择任意常数θ3,θ4＞0，然后选取常数θ1，使其满足最后选取常数θ2，使其满足在步骤S4中，利用下式计算最大步长 再选择常数Δα，其表示最大步长与最小步长之差，使其满足： 最后，利用下式计算最大Nesterov动量参数： 每个节点选择常数步长αi和常数动量项βi，使其分别满足：和每个节点接收邻居节点j，发送的信息以及结合自身所携带的信息更新变量具体迭代计算表达式如下： 在步骤S5中，每个节点根据最新变量更新变量更新规则如下：节点的邻居节点j接收节点发送的信息再根据节点j自身所携带的信息，通过系统处理，融合成信息最后，将该信息发送给节点i，且节点i根据该信息以及自身所携带的信息按照下列迭代计算规则更新对偶变量 每个节点i设置迭代次数k＝k+1，直到k≥kmax算法停止运行。

全文数据：

权利要求：

百度查询： 西南大学 一种基于迭代处理的主对偶分布式加速优化方法