买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学太仓长三角研究院;西北工业大学;西北工业大学深圳研究院

摘要：本发明提供一种面向非地面网络的多级缓存和异步更新缓存决策方法，主要解决现有LEO缓存卫星选择方法没有综合考虑星间传播时延、计算复杂度和集中的、批量的DRL更新方式难以满足QoS要求的问题。本发明的方案首先构建缓存LEO卫星选择算法，使所选择的缓存LEO卫星的星间传播时延最小；其次基于构建的缓存LEO卫星选择算法，构建多级缓存决策模型，对LEO缓存卫星集合和UAV设备进行缓存决策。在保证各文件在LEO卫星网络中全局可达的前提下，降低了系统传播时延和星间传输丢包，并增加缓存资源利用率，根据地面用户需求灵活地将文件缓存至UAV和LEO缓存卫星中，实现了降低网络流量峰值及更新时延的目的。

主权项：1.一种面向非地面网络的多级缓存和异步更新缓存决策方法，其特征在于，包括如下步骤：步骤一，构建缓存LEO卫星选择算法；步骤1.1、利用仿真软件构建LEO卫星模型；对处于不同轨道的LEO卫星建立LEO卫星模型；LEO卫星模型中包括LEO卫星的坐标信息和LEO卫星的拓扑图结构；LEO卫星的拓扑图结构根据LEO卫星的坐标信息的构建；LEO卫星的拓扑图结构中的节点即为LEO卫星；步骤1.2、初始化LEO卫星模型；将LEO卫星的拓扑图结构增补为拓扑完全图；拓扑完全图中的每个节点的参数包括信息素；拓扑完全图在LEO卫星拓扑图结构的基础上，将原本互相不可达的节点之间的边置为可达，且置为可达边的权重为无穷；步骤1.3、构建蚁群模型并初始化；蚁群模型中包括蚂蚁Agent和蚂蚁Agent的数量；每一个蚂蚁Agent包括的参数为：LEO缓存卫星集合、起始节点、覆盖图和禁忌表；LEO缓存卫星集合包括Agent所选择的作为缓存LEO卫星的集合和为Agent所选择的作为缓存LEO卫星的节点的能见度的集合；能见度为节点的平均每度数的传播时延；节点的能见度越高，在被蚂蚁Agent选择为LEO缓存卫星后更新信息素时遗留的信息素量越大；信息素为蚂蚁Agent选择任意卫星作为缓存卫星的密集程度；LEO缓存卫星集合为记录被选中为缓存卫星的LEO卫星；起始节点为蚂蚁Agent在拓扑完全图中的起始节点；覆盖图为拓扑图；覆盖图的节点为所有的LEO卫星；初始化时，将覆盖图边的权重置为1；禁忌表中包括蚂蚁Agent经过的LEO卫星和边被全部覆盖了的LEO卫星，禁忌表用来标记Agent已经经过哪些LEO卫星，已经经过的LEO卫星不允许再次经过；步骤1.4、蚁群Agent遍历拓扑完全图；遍历蚁群中每一个蚂蚁Agent，对于当前蚂蚁Agent，首先判断当前蚂蚁Agent的禁忌表中是否还有可选的节点，若无可选节点，则将当前Agent标记为停止，转入下一个蚂蚁Agent为当前蚂蚁Agent；若有可选节点，则计算当前Agent到每一个可能的节点的能见度，并计算当前Agent到每一可能节点的转移概率；转移概率是Agent选择该节点作为下一跳的概率；判断Agent的禁忌表中是否还有可选的节点的条件为：判断禁忌表中节点的数量是否等于LEO卫星模型中的所有LEO卫星的数量，如果禁忌表中节点的数量与LEO卫星模型的所有LEO卫星的数量相等，则表明没有可选的节点，如果不相等，则有可选节点；每一个Agent根据转移概率抽样分布选择下一个节点，将被选择的节点同时加入到当前Agent禁忌表和LEO缓存卫星集合中，并在覆盖图中将所有与被选择的节点相连的边的权重置为0；此时Agent转移到所选择的下个节点，将当前节点计入到经过的节点，并记录从上一个节点到下个节点的能见度；当全部的Agent均停止后，即每个Agent的禁忌表中均包含了全部的LEO卫星，根据Agent记录的节点和能见度，Agent在拓扑完全图上更新节点的信息素；输出蚁群遍历完成后的最后一个Agent的LEO缓存卫星集合及LEO缓存卫星集合中各LEO卫星间的传播时延的和；步骤二，构建多级缓存决策模型，根据步骤一中得到LEO缓存卫星集合，对LEO缓存卫星集合和UAV设备进行缓存决策，为地面车辆提供定制化传输服务；构建多级缓存算法的具备步骤为：步骤2.1：构建DQN神经网络，在LEO卫星和无人机上部署DQN神经网络；DQN神经网络为基于DeepQNetwork的强化学习模型；DQN神经网络部署的载体包括无人机和LEO卫星；DQN神经网络的输入是接入至载体的状态空间；DQN神经网络的输出为载体可能采取载体动作空间中的各个动作的Q值；如果载体是无人机，载体的状态空间为无人机状态空间，无人机状态空间包括无人机中收集到的可能请求的文件的传播时延、可能请求文件的文件流行度、当前时刻的服务密度、下一个服务聚类的请求情况、当前聚类中各个文件的最大接收和当前聚类中各个文件时延消耗比例；如果载体是LEO卫星，载体的状态空间为LEO卫星状态空间，LEO卫星状态空间包括LEO卫星收集到的当前时刻覆盖服务区域的剩余时间，能够接入LEO卫星的无人机的文件缓存空间的并集、LEO卫星的文件缓存空间、覆盖范围内的请求情况和文件流行度；Q值为DQN神经网络在载体动作空间中执行动作后所能获取到的长期奖励，长期奖励为载体从当前时刻到仿真结束后所能获得的全部瞬时奖励的和；若载体是UAV，载体的瞬时奖励为所有在当前时刻接入到UAV的且完成传输任务的车辆接收文件的实际消耗时延与车辆请求文件的最大时延的平方的比例的和；车辆完成传输任务的实际消耗时间越短，UAV的瞬时奖励越大；若载体是LEO卫星，瞬时奖励为当前时刻LEO卫星的缓存命中率，缓存命中率是所有接入LEO卫星的车辆请求的文件被LEO卫星缓存的数量与接入LEO卫星的车辆的数量的比值，缓存命中率越高，LEO卫星的瞬时奖励越大；载体动作空间包括载体可能采取的缓存决策，即从载体缓存中换出任意文件，再从未缓存的文件中换入任意文件；DQN神经网络在输出Q值后，在0,1内产生一个随机数，如果随机数大于贪婪因子，则选择Q值最大的动作作为载体采取的动作；如果随机数小于等于贪婪因子，则随机挑选一个动作作为载体采取的动作；贪婪因子取值为0.9；DQN神经网络计算的损失为：载体当前状态空间下采取的动作所获得瞬时奖励与载体当前状态空间下采取的动作的Q值得和，再减去载体当前状态空间下采取的动作转移到下一时刻作为新状态空间作为输入所输出得最大Q值的结果；DQN神经网络根据损失计算梯度，以随机梯度下降的方式更新DQN神经网络，以更新DQN神经网络；当DQN神经网络在每轮训练中所获取到的全部奖励的变化幅度小于1％时，则视为DQN的神经网络收敛；步骤2.2：初始化车辆位置信息和请求文件的信息；车辆是地面与无人机或LEO卫星通信的主体；获取地面全部车辆的位置信息，获取所有车辆所请求文件的流行度、车辆所请求文件的最大时延、车辆所请求文件的在接收时当前时刻所消耗的时间和已接收文件的比例；文件的流行度为车辆请求文件的概率；步骤2.3：对进行车辆聚类；以当前时刻的车辆位置信息为输入，利用聚类算法对车辆之间的距离进行聚类，无人机将以所生成的聚类为车辆集群提供服务；步骤2.4：无人机判断自身的位置信息；无人机根据当前时刻的车辆的位置信息、车辆所请求的文件的流行度、车辆所请求文件的最大时延、车辆所请求文件在接收时当前时刻所消耗的时间和已接收文件的比例计算各聚类的引力，决定下一个服务聚类，即在下一时刻的移动位置；聚类的引力由聚类中的车辆所请求的文件在无人机中缓存的比例、聚类中的车辆请求文件的用时超过最大时延阈值的比例和聚类与无人机之间距离决定；聚类中的车辆所请求的文件被无人机缓存的越多、聚类中的车辆请求文件的用时即将超过文件的最大时延阈值的情况越多、聚类离无人机越近，聚类的引力越大；聚类的引力表示每一个无人机对每一个聚类的感兴趣程度；步骤2.5：分别训练无人机上部署的DQN神经网络和LEO卫星上部署的DQN神经网络；无人机以当前时刻的状态空间作为输入，执行DQN神经网络的训练过程，并输出各个动作的Q值；LEO卫星以当前时刻的状态空间作为输入，执行DQN神经网络的训练过程，并输出各个动作的Q值；步骤2.6：判断无人机和LEO卫星上部署的DQN神经网络是否收敛；若无人机和LEO卫星上部署的DQN神经网络中有一个未收敛，则转入步骤2.7；若无人机和LEO卫星上部署的DQN神经网络全部收敛时，则流程结束，此时在UAV和LEO卫星上部署的DQN神经网络模型即为多级缓存与异步更新决策模型，能够对LEO卫星和无人机两级设备进行灵活地缓存决策，达到为地面车辆提供定制化的和高质量的传输服务的目的；步骤2.7：更新车辆位置信息和请求文件的信息；车辆根据车辆的速度和行驶的方向更新车辆的位置信息，车辆根据无人机和LEO卫星中当前缓存的文件计算当前时刻的文件传输速率，无人机更新无人机状态空间中文件的最大接收和当前聚类中文件时延消耗比例；若车辆接收文件的时延超过接收文件的最大时延或接收文件的任务已完成，则车辆重新请求一个文件；步骤2.8:更新无人机的位置信息的信息；无人机根据所选择的下一个服务聚类的平均坐标作为在下一个时刻的位置，并更新无人机的位置信息，转入步骤2.3。

全文数据：

权利要求：

百度查询： 西北工业大学太仓长三角研究院 西北工业大学 西北工业大学深圳研究院 一种面向非地面网络的多级缓存和异步更新缓存决策方法