买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：上海海事大学

摘要：本发明涉及一种自动化集装箱码头AGV路径规划方法，方法包括：AGV小车接收实际装卸箱任务，将实际装卸箱任务输入训练完成的路径规划模型，输出AGV路径方案；其中，路径规划模型的训练过程为：S1、接收用于训练的任务，在网格化地图中确定任务的起点和终点；S2、设置AGV小车的动作空间、状态空间、奖励函数、价值网络和策略网络；S3、采用近端策略优化算法更新价值网络和策略网络的参数，迭代更新直至达到训练轮数阈值。与现有技术相比，本发明具有提高多个AGV小车协同工作时的防冲突性，并提高多个AGV小车的路径的求解速度等优点。

主权项：1.一种自动化集装箱码头AGV路径规划方法，其特征在于，方法包括：AGV小车接收实际装卸箱任务，将实际装卸箱任务输入训练完成的路径规划模型，输出AGV路径方案；其中，路径规划模型的训练过程为：S1、接收用于训练的任务，在网格化地图中确定任务的起点和终点；S2、设置AGV小车的动作空间、状态空间、奖励函数、价值网络和策略网络；S3、采用近端策略优化算法更新价值网络和策略网络的参数，迭代更新直至达到训练轮数阈值；AGV小车的动作空间为：Action∈{0，1，2，3，4}其中，Action表示AGV小车采取的动作，{0，1，2，3，4}动作空间，0，1，2，3，4分别表示AGV小车的五种动作：向上、向下、向左、向右、停止；AGV小车的状态空间为：state＝[k0，k1，k2，k3，xnow，ynow，xgoal-now，ygoal-now，dmin]其中，state表示AGV小车的状态，[k0，k1，k2，k3，xnow，ynow，xgoal-now，ygoal-now，dmin]表示小车的状态空间，ki，i∈{0，1，2，3}表示当前时刻AGV执行动作i时，是否会超出地图边界，若会，ki为1，否则为0，xnow和ynow分别AGV小车当前所处位置的横坐标和纵坐标，xgoal-now和ygoal-now分别为AGV小车当前位置与终点的相对横坐标和相对纵坐标，dmin表示当前AGV与附近最近AGV之间的距离；奖励函数为： 其中，dgoal-now表示目前AGV小车与终点之间的距离，dgoal-next表示下一步的AGV小车与终点之间的距离；采用近端策略优化算法更新价值网络和策略网络的参数，迭代更新直至达到训练轮数阈值的具体步骤为：A1、初始化经验数组，所述经验数组表示存储采样数据的缓冲区；A2、获取当前状态，将当前状态输入策略网络，策略网络输出概率分布；A3、从概率分布中采样一个动作，并在环境中执行该动作；A4、执行该动作后，环境反馈奖励和下一个状态；A5、将A3得到的采样的动作、采样的动作对应的概率、A4的奖励、当前状态以及下一个状态存入经验数组，判断此时的AGV小车是否到达终点，若是，则训练轮数加1，设置当前状态为AGV小车位于起点的初始状态，然后执行A6，若否，则直接执行A6；A6、检查经验数组的大小是否达到事先设定的批次大小，若是，则执行A7，反之，返回A2；A7、从经验数组中计算每个样本的优势函数值，其中一个样本表示执行一次A5时存储的数据；A8、基于优势函数值计算重要性采样权重；A9、使用重要性采样权重计算价值网络和策略网络的损失函数；A10、对损失函数进行反向传播计算梯度，更新价值网络和策略网络的参数；A11、重复A2～A11，直至达到指定的训练轮数；A3和A4的具体步骤为：从概率分布中采样一个动作，通过该动作和当前状态中AGV小车当前位置计算执行该动作后的AGV小车坐标Q，判断坐标Q是否会超出地图边界，若坐标Q超出地图边界，则：判断AGV小车当前位置周围的四个方向是否都不可通行，若是，则执行停止AGV小车的操作，返回A2，若否，则直接返回A2；若坐标Q未超出地图边界，判断坐标Q上是否还有其他AVG小车，若坐标Q上还有其他AVG小车，则：判断AGV小车当前位置周围的四个方向是否都不可通行，若是，则执行停止AGV小车的操作，等待下一个时刻，返回A2，若否，则直接返回A2；若坐标Q上没有其他AVG小车，则：执行该动作，将坐标Q作为该AGV小车的新的当前位置，环境反馈奖励和下一个状态。

全文数据：

权利要求：

百度查询： 上海海事大学 一种自动化集装箱码头AGV路径规划方法