买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：无锡职业技术学院

摘要：本发明公开了基于多智能体联邦强化学习的时效优化方法，包括以下步骤：S1、车辆ci进入路侧单元RSU覆盖范围后，从路侧单元RSU下载最新的强化学习模型；S2、对强化学习模型进行本地训练；S3、采用图神经网络GNN捕捉车辆之间的关系得到GNN模型，并对GNN模型进行局部聚合；S4、车辆ci行驶出路侧单元RSU覆盖范围之前，将训练的最新的本地模型上传到路侧单元RSU；S5、路侧单元RSU在接收到所有即将离开其覆盖范围的车辆的本地模型后，路侧单元RSU执行异步的联邦聚合得到全局模型；S6、路侧单元RSU将更新的全局模型发送给新进入路侧单元RSU覆盖区域内的所有车辆，以进行每一辆车的训练。提升了整个系统的运行效率，同时解决了车辆信息泄露的问题。

主权项：1.基于多智能体联邦强化学习的时效优化方法，其特征在于，包括以下步骤：S1、车辆进入路侧单元RSU覆盖范围后，从路侧单元RSU下载最新的强化学习模型；S2、对所述强化学习模型进行本地训练；S3、采用图神经网络GNN捕捉车辆之间的关系得到图神经网络GNN模型，并对图神经网络GNN模型进行局部聚合；所述采用图神经网络GNN捕捉车辆之间的关系，包括：将路侧单元RSU通信覆盖范围半径内的车辆道路场景视为一个图，表示为；将每个预定长度为米的道路段视为集合中的一个独立节点，则路侧单元RSU通信覆盖范围内节点的数量等于，其中，L表示车道数量，对于给定的任意一个节点，定义其在时隙的特征向量如下： ，其中，代表时隙节点内的车辆数量，代表该节点内所有车辆模型参与本地聚合的平均次数，，和分别对应该节点内所有车辆强化模型的actor网络，critic网络和critic网络的平均损失值；边集基于车辆的通信范围构建，对于节点，定义一个集合，该集合包含所有在节点内的车辆的通信范围内的节点，对于节点其连接的节点集合表示为所有在内的车辆的通信范围内的节点的并集，即，其中表示在节点内的车辆集合，表示车辆的通信范围内所有车辆所在节点集合，对于每个在集合中的节点，在节点和节点之间建立一条边，得到节点的所有邻接边，构建无向图，以反映了车辆间的通信关系，定义车辆网络拓扑图的邻接矩阵，若，则，否则；所述对图神经网络GNN模型进行局部聚合包括：S31、特征转换，使图神经网络GNN模型学习到理想的节点嵌入，节点在层的中间表示为，如下： ,式中，是层的可学习转换矩阵，是节点在前一层的表示；S32、邻域聚合，节点在层的节点表示为，按如下方式更新： ,式中，是聚合的信息，是聚合权重，是非线性激活函数，用来捕捉特征及其邻居之间的复杂关系，权衡每个特征及其邻居的重要性，使GNN适应车辆网络的动态性；S33、提取节点特征，在GNN处理车辆网络拓扑图之后，输出一个编码图，其中表示RSU的通信覆盖范围半径，式中，是特征空间的维度，表示GNN的网络层数，给定节点在时隙的节点的特征嵌入表示为，嵌入的节点特征是一个向量，捕捉了车辆状态的基本特征以及它与网络中其他车辆的交互，用来表示所有节点提取特征向量的集合；定义集合，该集合包含车辆通信范围内的所有车辆所在节点的节点特征，即：；其中，表示车辆的通信范围内车辆所在节点集合；通过对集合中的所有节点特征进行softmax处理，确定模型聚合的权重，即： ，其中，表示车辆在模型聚合中的权重；车辆的Critic模型聚合为： ，其中，表示时隙车辆通信范围内的车辆集合；S4、车辆行驶出路侧单元RSU覆盖范围之前，将训练的最新的本地模型上传到路侧单元RSU；S5、路侧单元RSU在接收到所有即将离开其覆盖范围的车辆的本地模型后，路侧单元RSU执行异步的联邦聚合得到全局模型；S6、路侧单元RSU将更新的全局模型发送给新进入路侧单元RSU覆盖区域内的所有车辆，以进行每一辆车的训练。

全文数据：

权利要求：

百度查询： 无锡职业技术学院 基于多智能体联邦强化学习的时效优化方法