恭喜南京理工大学包金鸣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜南京理工大学申请的专利基于联邦多智能体强化学习的车联网边缘资源分配方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114980123B 。
龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210395450.X,技术领域涉及:H04W16/10;该发明授权基于联邦多智能体强化学习的车联网边缘资源分配方法是由包金鸣;林艳;陶奕宇;张一晋;邹骏;李骏;束锋设计研发完成,并于2022-04-15向国家知识产权局提交的专利申请。
本基于联邦多智能体强化学习的车联网边缘资源分配方法在说明书摘要公布了:本发明公开了一种基于联邦多智能体强化学习的车联网边缘资源分配方法,具体为:输入车联网环境,初始化智能体本地Q网络和联邦网络参数,并对优化问题建模;根据智能体能否获得奖励分为α、β两类,在当前时隙内两类车辆智能体分别观测本地状态并输入Q网络的;对Q网络输出进行加密处理,并通过联邦网络输出两类车辆智能体的联合动作决策;之后α车辆智能体得到系统反馈的全局奖励,同时缓存池存储当前时隙的样本数据;当样本数量足够时,α型和β型车辆智能体分别更新本地Q网络以及联邦网络的参数;当前训练回合结束后,重置车联网环境,开始下一个回合的训练。本发明在隐私保护的前提下提升了车联网连通性,同时降低了切换开销以及能量损耗。
本发明授权基于联邦多智能体强化学习的车联网边缘资源分配方法在权利要求书中公布了:1.一种基于联邦多智能体强化学习的车联网边缘资源分配方法,其特征在于,具体步骤包括:步骤1、输入车联网环境,初始化智能体本地Q网络和联邦网络参数,并对优化问题建模;步骤2、根据智能体能否获得奖励,分为α型车辆智能体和β型车辆智能体两类,在当前时隙内α型和β型车辆智能体分别获取自身与路侧单元之间的信道状态、可观测的路侧单元位置以及上个时隙相关联的路侧单元位置,级联作为Q网络的输入;步骤3、采用高斯差分方法对Q网络输出进行加密处理,并通过联邦网络输出α型和β型车辆智能体的联合边缘接入决策以及下行链路的功率分配决策;步骤4、α型车辆智能体得到系统反馈的连接增益、切换开销以及能量损耗的权衡奖励,同时系统将当前时隙的样本数据输入至缓存池中;步骤5、判断样本数量是否足够,如果是则进入步骤6,否则直接进入步骤7;步骤6、当样本数量足够时,α型和β型车辆智能体分别更新本地Q网络以及联邦网络的参数,更新完成后清空缓存池;步骤7、判断当前训练回合是否结束,如果否则返回步骤2开始下一个回合的训练,如果是则进入步骤8;步骤8、判断是否收敛,如果否则重置车联网环境,返回步骤1;如果是则训练结束,完成车联网边缘资源分配;步骤1中所述的输入车联网环境,具体包括:1时隙模型:将连续的训练时间离散为多个时隙,表示为其中信道状态信息和系统参数在单个时隙的持续范围内保持不变,但可能在不同时隙之间随机变化;2网络模型:建立城市多车道高速公路模型,其中高速公路两侧均匀分布支持边缘通信的路侧单元,用集合表示;车辆从高速公路两端相向行驶,通过建立车与基础设施链路提升自身数据的传输速率,车辆用集合表示;3车辆移动模型:车辆的速度变化均遵循以下高斯-马尔科夫随机过程: 其中,υt表示车辆在时隙t的速度,υt-1表示车辆在时隙t-1的速度,表示速度近似均值,ζ表示速度近似方差,ξ表示记忆程度,z表示不相关的零均值单位方差的随机高斯过程;4切换模型:假设车辆能够观测到附近Omax个路侧单元的信息,并自适应地选择关联的路侧单元;定义车辆k与所有路侧单元之间的关联变量为 其中表示路侧单元r在时隙t和车辆k相关联,反之,考虑路侧单元的覆盖范围有限,且单个时隙只能服务一个车辆,当相邻时隙车辆关联的路侧单元改变,则发生切换,即: 其中Hkt表示相邻时隙之间车辆k产生的切换数目,1{·}表示在满足约束情况下置1,反之,置0;5功率分配模型:下行链路路侧单元的发射功率采用离散化的等级分布,表示为[Pmin,Pmax]范围内的P个等级;令表示时隙t车辆k相关联的路侧单元r所配置的下行链路传输功率,则车辆k配置的下行链路路侧单元的功率分配变量为 其中表示车辆k在时隙t选择p作为下行链路路侧单元的功率,即反之,6无线通信模型:考虑系统中已通过干扰消除方法消除了车与基础设施链路之间的相互干扰;假设信道功率增益由小尺度衰落即瑞利衰落以及路径损耗组成;令表示车辆k与路侧单元r之间的信道增益,根据香农公式,给定时隙t车辆用户k关联的路侧单元r以及其配置的下行链路功率,则车辆k可获得的传输速率Rkt表示为: 此外,假设所有车辆在每个时隙所需的最小数据速率相同且固定,用Rmin表示;步骤1所述对优化问题建模,具体为:考虑优化联合边缘接入与功率分配,构建优化问题,优化目标为最大化连接增益、切换开销以及能量损耗的权衡: 其中ω1,ω2,ω3分别为连接增益、切换开销以及能量损耗的权值系数,且ω1+ω2+ω3=1;式C1保证车辆用户的无缝连接,式C2反映车辆用户的所需的最小数据速率约束。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京理工大学,其通讯地址为:210094 江苏省南京市玄武区孝陵卫200号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。