买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南方电网互联网服务有限公司申请的专利基于多智能体强化学习和联邦学习的边缘缓存方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116362345B 。

龙图腾网通过国家知识产权局官网在2025-04-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310134885.3，技术领域涉及：G06N20/00；该发明授权基于多智能体强化学习和联邦学习的边缘缓存方法及系统是由吴琼;赵宇;汪文华;李正权设计研发完成，并于2023-02-20向国家知识产权局提交的专利申请。

本基于多智能体强化学习和联邦学习的边缘缓存方法及系统在说明书摘要公布了：本发明提供一种基于多智能体强化学习和联邦学习的边缘缓存方法及系统，该方法包括：构建包括状态、动作、奖励和策略的MADRL框架，采用联邦深度学习预测SBS覆盖范围内的流行的内容；基于所述MADRL框架，SBS根据本地状态和相邻SBSs的状态来调整SBS本地缓存的流行的内容。本发明SBS可以预测自己覆盖范围内的内容流行度；并可以有效的调整SBSs本地缓存的流行的内容，进而实现了有效利用分布式边缘缓存。

本发明授权基于多智能体强化学习和联邦学习的边缘缓存方法及系统在权利要求书中公布了：1.一种基于多智能体强化学习和联邦学习的边缘缓存方法，其特征在于，包括：构建包括状态、动作、奖励和策略的MADRL框架，采用联邦深度学习预测SBS覆盖范围内的流行的内容；其中，所述构建包括状态、动作、奖励和策略的MADRL框架，具体包括：状态：在时隙t，SBSb的本地状态定义为系统的状态定义为其中，是SBSb的本地缓存状态，pb是在SBSb覆盖范围预测的流行的内容；动作：在时隙t，SBSb的动作定义为系统的动作定义为其中，Fp＝|pb|代表预测的流行的内容的数量；奖励：在时隙t，将SBSb的奖励定义为系统的奖励为其中，α,β,χ和η是预定义的常数，和是在SBSb覆盖范围内的UE在时间间隔[t,t+1期间获取内容数量的统计数据；策略：用π＝{π1,...,πb,...,πB}表示缓存策略，来最大化预期的长期折扣回报π*＝argminJπ，其中，γ∈0,1是折扣因子；其中，所述采用联邦深度学习预测SBS覆盖范围内的流行的内容包括以下步骤：利用联邦深度学习对对抗性编码器模型进行迭代训练；SBS将训练好的对抗性编码器模型发送给覆盖范围内的所有UEs，设定UE中的活跃用户，选择每个活跃用户的相邻用户并构建矩阵，具体包括：SBS将训练好的对抗性编码器模型发送给覆盖范围内的所有UEs，将UEi对内容的评分矩阵Xi作为训练好的对抗性编码器模型的输入，输出重构的评分矩阵计算UE中每个用户中评分不为零的内容数，并将设定数量的具有最大非零内容数的用户标记为活跃的用户；UE将重构的评分矩阵和其个人信息矩阵Hi结合为组合矩阵Hi，计算每个活跃的用户和其他用户之间的相似性；对于每个活跃的用户a，UE选择具有K个最大相似性的用户作为用户a的K个相邻用户，提取评分矩阵Xi中每个活跃用户的K个相邻用户的向量并且构建矩阵计算每个活跃的用户和其他用户之间的相似性的方法为：根据余弦相似性计算每个活跃的用户和其他用户之间的相似性，其计算公式为： 其中，Hia,:和Hib,:分别是与组合矩阵Hi中的活跃的用户a和用户b所对应的向量，‖Hia,:‖2和‖Hib,:‖2分别是Hia,:和Hib,:的2-norm；统计每个用户感兴趣内容的数量，UE选择Pn个最大内容流行度的内容作为预测UE的感兴趣内容，其中感兴趣内容的数量称为该内容的内容流行度；在SBS覆盖范围内所有UEs上传其预测的感兴趣内容后，所述SBS比较所有UEs上传的预测的感兴趣内容并选择Pn个最感兴趣的内容作为预测的流行的内容；基于所述MADRL框架，SBS根据本地状态和相邻SBSs的状态来调整其本地缓存的流行的内容；其中，利用联邦深度学习对对抗性编码器模型进行迭代训练包括以下步骤：SBS在第一轮迭代训练中初始化自身的全局模型ωr，在每一轮迭代训练中，SBS更新全局模型，并将全局模型ωr传递给其覆盖范围下所有的UEs；SBS覆盖范围下的每个UE将下载的全局模型ωr设置为自身的初始的本地模型，并通过训练迭代更新本地模型；本地模型更新完成，UEi将更新后的本地模型上传到本地SBS；在SBS覆盖范围内的所有UEs上传其更新后的本地模型后，所述SBS通过计算所有接收到的更新后的本地模型的加权平均和来生成新的全局模型ωr+1，其计算公式为： 其中，η是固定的学习率；d是SBS覆盖范围内所有UEs中的整个数据的大小；di＝|Di|，其中Di表示UEi的本地训练数据集；通过多个回合迭代训练，得到最终的全局模型，对抗性编码器模型完成训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南方电网互联网服务有限公司，其通讯地址为：510000 广东省广州市越秀区东风东路757号大院办公综合楼606-609房(不可作厂房使用)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。