买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳捷来电科技有限责任公司

摘要：本发明涉及一种基于强化学习的实时移动电桩编组及控制方法，包括步骤：生成当前时刻下离散化的订单分布图和移动电桩分布图，得到订单位置特征矩阵和移动电桩位置特征矩阵；将位置特征矩阵作为神经网络编组器的输入，划分出多个子区间，限制移动充电桩运动范围；构建强化学习神经网络的奖励函数和损失函数，利用Adam优化器进行参数优化，采用基于Ray的多线程运算方法进行训练，根据训练后神经网络编组器对移动电桩模拟编组的子区间划分，实现当前时刻现实世界中移动电桩的编组，采集下一时刻订单信息、移动电桩位置信息并重复上述步骤。本发明对多个移动电桩的运动范围进行划分，实现编组，从而保证移动电桩系统的全局效率达到最高。

主权项：1.一种基于强化学习的实时移动电桩编组及控制方法，其特征在于，包括以下步骤：步骤1：获取当前时刻服务器收到的订单，并对订单的空间分布图进行建模，同时将城市地图进行离散化，形成网格化的地图，将接收到的订单标注在网格上，对标注后的网格地图进行统计，生成离散化的订单分布图；步骤2：定位当前各个移动电桩的位置，确定每一个移动电桩的当前位置并标注在离散化的空间地图上，得到移动电桩分布图；步骤3：通过卷积神经网络分别对所述订单分布图和移动电桩分布图进行数据提取，同时进行0-1归一化处理，将所述订单分布图和所述移动电桩分布图分别转化为订单位置特征矩阵以及移动电桩位置特征矩阵；步骤4：将订单位置特征矩阵以及移动电桩位置特征矩阵作为神经网络编组器的输入，神经网络编组器通过强化学习方法，依靠Voronoi地图分割方法，生成Voronoi图中Generator点，根据Generator的位置对移动充电桩的服务空间进行分割，划分出多个子区间，限制移动电桩在所属的子区间内进行移动，实现移动电桩的模拟编组；步骤5：构建强化学习神经网络的奖励函数和损失函数后，采用基于Ray的多线程运算方法对强化学习神经网络进行训练，所述奖励函数以不同子区间的工作负载与全局工作负载之间的差值为基础，并将每一个移动电桩的移动距离之和作为惩罚项加入到奖励函数中，神经网络的损失函数构建为价值损失函数和策略损失函数之和；步骤6：设定训练周期，通过历史采集数据对神经网络编组器进行训练，基于强化学习在线学习迭代策略的特征，通过Adam优化器进行反向传播，不断优化神经网络编组器的参数，实现子区间内工作量平衡策略的迭代；当达到训练周期后，视为该神经网络编组器已经训练成熟，可以应用于现实世界中执行移动电桩编组及控制任务；当神经网络编组器完成训练后，对移动电桩模拟编组的子区间划分，确定移动电桩在现实世界中的运动范围，即移动电桩只能在所属的子区域内运动，保证一段时间内系统多个子个体彼此之间工作负载平衡，最终实现现实世界中移动电桩的编组，在现实世界中移动电桩编组完成后，采集一段时间间隔后的订单信息、移动电桩位置信息，然后重复上述步骤，在进行现实世界编组时，不进行网络参数的迭代，不执行神经网络反向传播。

全文数据：

权利要求：

百度查询： 深圳捷来电科技有限责任公司 一种基于强化学习的实时移动电桩编组及控制方法