买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种面向多微的动态服务迁移方法，包括步骤如下：1分析在单个时隙内用户数据在移动终端和微云之间的传输过程、虚拟机迁移数据在源微云和目的微云之间的传输过程，建立时间窗口模型；2构建系统模型，通过系统模型确定系统状态集、动作集和动作价值函数；3基于强化学习训练服务迁移策略，通过初始策略和值迭代来计算动作价值函数，直到每个状态对应的动作价值函数收敛或达到给定的循环次数，训练结束，可生成服务迁移策略；4当系统的实际运行状态不在训练状态集中，用系统实际产生的状态序列信息更新动作价值函数和迁移策略；本发明在保证用户体验的条件下减少系统的服务成本，提高系统的服务成功率。

主权项：1.一种面向多微云的动态服务迁移方法，其特征在于，将延迟约束条件下的服务成本最小化问题转化为多时隙决策问题，通过迭代计算状态动作价值函数产生迁移策略，包括步骤如下：1分析在单个时隙内用户数据在移动终端和微云之间的传输过程、虚拟机迁移数据在源微云和目的微云之间的传输过程，建立时间窗口模型；2构建系统模型，通过系统模型确定系统状态集、动作集和动作价值函数；3基于强化学习训练服务迁移策略，通过初始策略和值迭代来计算动作价值函数，直到每个状态对应的动作价值函数收敛或达到给定的循环次数，训练结束，生成服务迁移策略；4当系统实际的运行状态不在训练状态集中，系统根据k近邻状态选择动作，直到用户数据传输完毕，用系统实际产生的状态序列信息更新动作价值函数和迁移策略；步骤1中，所述时间窗口模型如下：给定单个时隙长度，将用户给定的截止时间划分为多个时隙，用t表示当前时隙；在单个时隙的开始，根据上个时隙的用户剩余数据量，系统控制器做出是否迁移的决定；所述的决定分为迁移和不迁移：101在时隙t开始，如果系统做出迁移的决定，则时隙中包括用户和微云的数据传输过程和微云之间的服务迁移过程；102在时隙t开始，如果系统做出不迁移的决定，则时隙中只包括用户和源微云的数据传输过程，不存在服务迁移过程；步骤2中，所述系统模型如下：用户在蜂窝网络中随机移动，每个基站对应一个蜂窝，每台微云服务器绑定多个基站，每个基站最多绑定一台微云服务器；定义时隙t的状态为St＝dt,bt,t；dt表示在时隙t时，用户和微云的距离；bt表示在时隙t时，用户的剩余数据量；在时隙t开始，动作选择包括迁移和不迁移；201状态集合表达式为：s∈D,B,Ts表示具体时隙的状态；D表示用户和微云的距离，不得超出系统最大距离，B表示用户当前剩余数据量，T表示应用截止时间对应的时隙个数；202动作集合表达式为：a∈a0,a1a0表示不迁移动作，a1表示迁移动作；203在时隙t选择动作a，到时隙t+1开始统计到的服务成本，其表达式为：Ct+1＝gt+rtgt表示时隙t内服务迁移的成本，rt表示时隙t内数据传输的成本；204从状态St开始的总成本函数V表达式为： s.t.Te≤Tπ表示策略，Eπ表示使用π策略对应的成本期望值，Te表示数据传输完毕对应的时隙个数；步骤3中，所述强化学习训练服务迁移策略如下，在时隙t时，当前状态为St，根据初始策略π0产生动作a；当用户数据量传输完毕为终止态，从初始态到终止态作为一条状态序列；根据用户移动的不确定性和初始策略π0会产生多条状态序列；状态动作价值QSt,at根据当前状态序列的服务成本进行更新，表达式为： 式中，at表示在时隙t按照初始策略π0产生的动作，E表示成本期望值；通过初始策略π0和值迭代来计算动作价值函数，直到每个状态对应的动作价值函数收敛或达到给定的循环次数，训练结束，生成策略πs。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种面向多微云的动态服务迁移方法