申请/专利权人：重庆理工大学

申请日：2023-10-31

公开（公告）日：2024-07-09

公开（公告）号：CN117376355B

主分类号：H04L67/10

分类号：H04L67/10;H04L67/12;G06N3/098;G06N3/092

优先权：

专利状态码：有效-授权

法律状态：2024.07.09#授权;2024.01.26#实质审查的生效;2024.01.09#公开

摘要：本发明涉及B5G技术领域，具体公开了一种基于超图的B5G海量物联网资源分配方法及系统，提出了一种基于超图理论的网络冲突模型，量化整个B5G大规模网络的冲突程度。将具有顺序决策MDP特征的网络资源分配问题建模为马尔可夫决策过程，并提出了一种资源高效的协作强化学习解决方案。为了通过将计算负载分布在整个网络中来减少计算负载，并实现分布式协作人工智能，本发明提出了一种联邦平均优势行动者‑评论者FedAvg‑A2C算法，用于处理B5G大规模IoT场景中的无冲突网络资源分配问题，并加速学习过程的训练。仿真结果表明，所提出的方案在B5G大规模IoT网络中具有高网络吞吐量和资源效率。

主权项：1.基于超图的B5G海量物联网资源分配方法，其特征在于，包括步骤：S1、客户端建立其B5G海量物联网的网络冲突超图模型；S2、基于所述网络冲突超图模型建立无冲突资源管理分配的基础问题模型；S3、设计行动价值函数和状态值函数，将所述基础问题模型转化为马尔科夫决策模型；在所述步骤S3中，设计的行动价值函数、状态值函数分别表示为： 其中，st表示在时刻t时B5G海量物联网的状态，at表示在时刻t时采取的动作，表示在状态s中执行动作a之后的预期回报，表示状态s的预期回报，表示期望算子；st定义为其中表示时刻t时的所有终端设备的信号与干扰加噪声比的集合，ψt表示时刻t时的B5G海量物联网的冲突度的集合，表示时刻t时对所有终端设备最小速率要求的集合，H表示所述网络冲突超图模型的关联矩阵，kt表示时刻t时为所有终端设备分配的网络资源的集合；所述马尔科夫决策模型的目标函数相比所述基础问题模型，其目标函数变化为： Jπ表示时刻t的累积折扣报酬，表示时刻t的累积折扣奖励；S4、客户端使用协作强化学习网络对所述马尔科夫决策模型进行求解，获得在每一时刻无冲突的资源分配决策；所述步骤S4中，在训练所述协作强化学习网络中，其参数更新包括步骤：S41、从服务器获取全局模型最新参数wt-1和θt-1，t表示当前时刻，t-1表示前一时刻，w和θ分别表示全局模型的协作强化学习网络的价值参数和策略参数；所述服务器的全局模型最新参数由所有客户端在本轮训练结束时的参数加权平均而得，服务器得到全局模型最新参数广播至每个所述客户端用于下一次参数更新；S42、客户端k通过计算损失值和的梯度和来更新自身的协作强化学习网络在t时刻的价值参数和策略参数并发送给全局模型进行聚合，分别表示客户端k在t-1时刻的价值参数和策略参数，表示与相关的损失函数。

全文数据：

权利要求：

百度查询： 重庆理工大学 基于超图的B5G海量物联网资源分配方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD