买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了一种基于DDPG的5GNR资源调度方法，包括：1针对5G时延敏感流量特性，建立对应的通信场景模型，并表示信道状态集合、调度动作集合，定义动作奖励；2根据动作器获取调度动作，与环境交互获取奖励以及下一时刻状态，并将信息存储至经验回放器；3从回放池中抽取训练样本，根据评论家计算目标值，并与当前奖励期望求差，利用最小损失函数更新网络参数，同时动作器根据当前奖励期望更新网络参数；4重复步骤2和步骤3，算法收敛后用户的Q值等于真实动作价值，此时基站调度步骤2选择的用户就能实现最高的系统性能。本发明解决5GNR系统调度，实现更快的收敛速度，能确保系统的长期性能不弱于已有的调度算法。

主权项：1.一种基于DDPG的5GNR资源调度方法，其特征在于，所述方法中使用双重神经网络架构，其中动作和评论均使用双重神经网络架构即Online训练网络和Target目标网络，同时引入了经验回放机制，动作器与环境交互产生的经验数据样本存储到经验池中，抽取批量数据样本进行训练，在设计的调度过程中，共有K个用户，可分配的分组资源数量为N，每个用户会被分配nktnkt∈{0，N}份资源，包括如下步骤：步骤1：针对5G时延敏感流量特性，考虑其调度要求，包括时延、抖动和可靠性等，建立对应的通信场景模型，设计对应的状态，动作，定义调度动作at，信道状态st，并定义做出调度动作之后的瞬时奖励rt，rt定义为用户在该时隙中成功接收的数据包的总数，为使发送并成功接收的数据包数目最大，于是定义长期奖励Q为不同时刻瞬时奖励的加权平均，用Q·|θQ函数表示；步骤2：根据状态st动作器训练网络获取调度动作，确定每个用户所分配的分组资源，调度器通过评论家训练网络评价当前动作价值，即被选取动作的价值，动作器从环境中获取下一个状态st+1以及环境反馈奖励rt，将所得四元组st，at，rt，st+1存入经验存储器，直至经验池满，从中选取一批固定大小的元组作为训练样本进行训练并同时更新经验池；步骤3：根据采取的元组sti，ati，rti，sti+1，ti＜t传入动作器和评论家进行训练，动作器目标网络估计下一个状态调度动作，之后根据评论家目标网络近似估计下一状态的长期奖励Q·|θQ′，并计算目标值yti，之后评论家训练网络根据训练网络得到的Q·|θQ值，以最小化目标值和Q·|θQ值来训练网络参数，同时动作器根据评论家所传递的Q·|θQ使其最大化来更新动作器训练网络参数，同时评论家和动作器目标网络均采用软更新机制来更新目标网络参数；步骤4：重复上述步骤2和步骤3，动作器与评论家网络收敛后，长期奖励将达到最大值，此时调度器根据状态所做出的调度动作实现最好的系统性能。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于DDPG的5G NR资源调度方法