买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京理工大学

摘要：本发明公开了一种基于深度强化学习的卫星边缘计算任务卸载及资源分配方法，包括：通过分析卫星边缘计算网络中的任务信息，采用终端‑卫星‑云三层计算架构下的部分计算卸载策略，建立卫星网络节点通信模型和动态队列积压更新模型；定义系统总能耗为目标函数，将计算卸载联合资源分配问题描述为一个混合整数非线性规划问题，将该问题建模为马尔可夫决策过程，通过深度强化学习求解满足任务确定性时延需求和资源约束下能耗最低的计算卸载和资源分配策略，采用基于深度确定性策略梯度的算法解决网络动态变化问题。本发明在满足任务确定性需求的前提下有效降低系统的总能耗，实现对任务卸载位置、卸载比例和资源分配策略的联合优化。

主权项：1.一种基于深度强化学习的卫星边缘计算任务卸载及资源分配方法，其特征在于，包括：在终端-卫星-云服务中心组成的三层计算架构下，将用户产生的任务按比例分成三部分，将部分任务卸载到卫星和云服务中心执行，通过这种部分计算卸载策略，任务能够在三个平面并行执行；在此架构下，将资源有限的地面用户和LEO卫星进行关联，实现计算任务从地面到卫星的卸载，并通过LEO卫星中继将部分任务卸载到云服务中心，为地面用户提供异构计算资源；建立用户和卫星的关联模型和任务模型；SMEC系统以时隙模式运行，将整个卸载周期划分划分为N个长度相等的时隙，每个时隙的长度为，在每个时隙开始，每个用户都会产生计算任务并和卫星关联，用表示用户与LEO卫星连接决策集合，当时，表示用户与卫星建立连接，否则，任务生成是独立同分布的泊松过程，将每个用户产生的第个时隙产生的计算任务建模为一个三元组，，为任务输入的总数据量，满足，为平均任务到达率；为完成计算任务所需的CPU计算周期，为任务最大完成期限；每个时隙产生任务分成三个部分以提供并行性；第一个部分在本地运行，第二个部分卸载到与用户相关的LEO卫星，第三个部分通过卫星中继卸载到云服务器；在任务卸载周期内，要预先确定任务处理策略，即本地处理和任务卸载的比例，令、和分别表示用户产生的任务在本地、LEO卫星和云服务器上执行的比例，且满足；建立卫星网络节点通信模型和动态队列积压更新模型，用户和MEC服务器上有缓存队列来存储用于计算和卸载的任务，其分别表示为和，在不同时隙，队列积压更新模型表示为：，，其中和分别表示当前时刻离开用户队列和卫星队列的任务数据量，和分别表示当前时刻进入队列的任务数据量；任务队列上限为，超出队列长度的任务会丢失，因此任意时刻的队列长度应满足下述约束：；用户和卫星间采用正交频分多址通信模型，多个地面用户共享相同的频谱资源，分别构建三层计算架构的时延和能耗模型，系统的时延包括传输时延、执行时延、传播时延和排队时延，能耗包括传输能耗和执行能耗，根据香浓定理得到用户和卫星之间的传输速率，同时因为下行链路传输的数据大小远小于上行链路，只考虑上行链路的时延和能耗，构建系统时延和能耗模型；建立排队时延计算模型，T为时隙数量；用户i执行完时隙k内所有任务所需要的总时间为，表示用户在第个时隙产生的任务在本地执行所需的时间；该时间不能超过任务完成期限，满足时延约束：；以系统的总能耗为目标函数，在约束条件下，得到一个混合整数非线性规划问题，将该问题建模为马尔可夫决策过程，在某个时隙t中，环境处于状态，代理在执行动作，并且环境能够根据转移概率转移到任何可实现的后续状态；然后，智能体接受奖励；状态空间定义为，其中包括任务信息、LEO卫星中可用的计算资源和队列信息；动作空间定义为，其中代表任务分配比例，表示用户任务卸载到卫星的编号，表示为用户最大发射功率的比例，表示计算资源分配比例；奖励定义为，其中R是一个常数，令奖励为正，是优化目标，是比例系数，而和分别是计算资源分配溢出和任务队列溢出导致的惩罚，而是任务完成时间超出最大完成期限的惩罚；通过基于深度确定性策略梯度的部分计算卸载算法得到能耗最低的计算卸载和资源分配策略，实现对卸载位置、卸载比例和资源分配策略的联合优化；所述基于深度确定性策略梯度的部分计算卸载算法在开始时进行状态初始化，对状态归一化处理，减少不同维度引起的误差，同时添加行为噪声来构建动作空间，采用经验回放机制；奖励与能耗呈负相关，使智能体朝着降低能耗的方向学习，对目标网络采用软更新的方法来更新网络参数，得到能耗最低的计算卸载和资源分配策略。

全文数据：

权利要求：

百度查询： 南京理工大学 基于深度强化学习的卫星边缘计算任务卸载及资源分配方法