买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学;宁波江宸智能装备股份有限公司

摘要：本发明公开了一种面向异构MapReduce集群的低时延Map和Reduce联合调度方法，步骤为：客户端提交MapReduce作业到异构集群，控制中心将作业分给各服务器并完成分布式计算以使得作业执行总时延最小。其中，MapReduce框架在Map阶段和Reduce阶段均存在计算任务分配，按照所有服务器能同时完成计算的原则，分别固定其中一处的任务分配来优化另一处，对两个任务分配向量进行迭代求解直至所有服务器的执行时延均相等，得到两个阶段最优的计算任务分配策略，且作业完成的总时延最小。本发明可以用于异构集群下MapReduce分布式计算中，以获得低时延的有益效果。

主权项：1.面向异构MapReduce集群的低时延Map和Reduce联合调度方法，其特征在于，包括如下步骤：1获取如下信息：提交的作业大小Dbits、集群中服务器数量N、网络中各服务器之间通信的传输速率vlkMbps、服务器计算单位比特数据的时钟周期μkcyclesbit，CPU频率Map、Reduce任务的工作槽数以及单位Map任务输出的数据量γ，其中l、k均是服务器的编号；2最小化单个服务器的时延拖尾，提高服务器并行时间得到Map和Reduce阶段的任务分配向量m、q；所述的方法，获取最优的作业完成总时延和任务分配向量，步骤如下：根据获取信息得到任意一个服务器k作为Reduce计算节点时，完成Reduce计算对应的系统时延tkm，q； 其中，β为服务器计算单位Map任务和Reduce任务的时延比，ml和qk分别为服务器l在Map阶段的任务分配和服务器k在Reduce阶段的任务分配，比较每个服务器完成Reduce计算的系统时延，将最大值作为作业完成总时延τ； 基于此得到作业完成总时延τ的另一种等价表示 其中是当服务器l作为Map计算节点时，所有服务器完成Reduce计算的系统时延；最小化单个服务器的时延拖尾，提高服务器并行时间，得到作业完成总时延τ满足所有服务器能同时完成Reduce计算的最优性条件：tkm*，q*＝slm*，q*，l∈{1，...，N}按照所有服务器完成Reduce计算的系统时延均相等的原则，固定一个任务分配变量不变，对另一个任务分配变量进行迭代求解，直至当前最优：固定Map阶段任务分配变量m更新Reduce阶段任务分配变量q： 根据等式约束对当前时刻的Reduce阶段任务分配变量作归一化处理： 固定已更新的Reduce阶段任务分配变量q更新Map阶段任务分配变量m： 根据等式约束对当前时刻的Map阶段任务分配变量作归一化处理： 基于上述方法交替迭代求解两个任务分配变量，使得作业完成总时延单调减少，直到前后两次时延之差在阈值范围内停止迭代，进而得到最优的任务分配向量。

全文数据：

权利要求：

百度查询： 浙江大学 宁波江宸智能装备股份有限公司 面向异构MapReduce集群的低时延Map和Reduce联合调度方法