买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：一种应用于非授权毫米波段异构网络共存的调度方法，涉及无线通信网络优化。首先初始化参数，并将NR‑U网络中的基站设为Agent，将其可调度的用户看做可选的动作；观察当前状态，Agent得到在当前状态下所有动作的Q值，依据策略选择下一步的动作；执行动作后Agent得到相应的反馈并转入下一状态，存储经验，当经验池中的经验数累积到一定量后，开始学习，更新拉格朗日乘子，更新评估网络参数，再更新目标神经网络参数；重复以上步骤直到收敛，获得最优调度策略。有效利用非授权毫米波段定向传输的特性，在频谱环境先验知识未知的情况下，动态调整用户调度策略，在最大化NR‑U网络的总数据速率的同时满足不同用户QoS要求。

主权项：1.一种应用于非授权毫米波段异构网络共存的调度方法，其特征在于包括以下步骤：1首先初始化参数，并将NR-U网络中的基站设为Agent，将其可调度的用户看做可选的动作；所述初始化参数包括系统参数和算法参数，所述系统参数，系统中的NR-U网络由1个基站和N个用户终端组成，WiGig网络由M个WiGig接入点及其各自的用户终端组成；所述算法参数包括：每个拉格朗日乘子的初始值、折扣因子γ、评估神经网络的学习率α1、拉格朗日乘子的学习率α2、训练时随机抽取的经验的数量Ne、初探索率ε、目标神经网络更新频率T0、经验池容量、初始状态s0；2观察当前时隙的环境状态，Agent得到在当前状态下所有动作的Q值；3依据ε-greedy策略选择下一步的动作；所述依据ε-greedy策略选择下一步的动作，Agent为NR-U网络中的基站，其选择将要传输数据的用户，即at∈{1,2,…,N}，其中，at＝n表示基站将在当前时隙传输一个数据包给用户n；所述ε-greedy策略具体为：1以1-ε的概率选取Q值最大的动作，其中初探索率ε∈[0,1]；2以ε的概率随机选择一个动作，即随机选择一个用户传输数据包；4执行动作后，Agent得到相应的反馈并转入下一状态，具体步骤为：执行动作at后，若传输成功，观测值为ot＝1，否则ot＝0；状态由前D个时隙的动作观测对zt＝at,ot组成，即st+1＝zt-D+1,zt-D+2,…,zt，其中D是状态历史长度；进一步地，Agent的目标是要最大化整个NR-U网络的数据速率同时满足每个用户的QoS要求，所以执行动作at后获得的奖励rt+1定义为NR-U网络的总数据速率，用公式表示如下： 其中，是第n个用户在当前时隙的数据速率；执行动作at后的成本定义为每个用户在当前时隙的数据速率，即： Agent的目标用公式表示为： 5将当前环境状态、Agent选取的动作、Agent获取的奖励、成本序列以及下一时隙的环境状态以经验的形式存入经验池中；6重复步骤2～5直到经验池中累积到足够的经验，开始学习，更新拉格朗日乘子，然后更新评估网络参数，再更新目标神经网络参数；所述学习分为两步：第一步从经验池中随机采样一小批经验更新每个拉格朗日乘子第二步根据更新之后的拉格朗日乘子计算每条采样出来的样本的总的奖励再根据计算评估神经网络的损失函数Lθ，并在反向传播的过程中，利用随机梯度下降法迭代搜索损失函数的最小值，实现评估神经网络的训练；所述更新每个拉格朗日乘子的具体步骤为：随机采样出Ne条经验组成mini-batchB；若B中第n个用户的平均成本不低于最小阈值，即该拉格朗日乘子保持不变；否则该拉格朗日乘子更新为：其中α2是拉格朗日乘子的学习率；根据拉格朗日对偶方法得： 所以为简便，将拉格朗日对偶的梯度近似为： 每个拉格朗日乘子的更新规则为： 更新完每个拉格朗日乘子λn之后，Agent利用更新过的λn计算B中每条经验的总奖励： 其中，ωn是对应每个拉格朗日乘子λn的指示因子，若λn相对于前一个时隙改变了，则ωn＝1，否则ωn＝0，ηn是每个用户的QoS约束，即最小的数据速率要求；7重复以上步骤直到收敛，获得最优调度策略。

全文数据：

权利要求：

百度查询： 厦门大学 一种应用于非授权毫米波段异构网络共存的调度方法