申请/专利权人：中国科学技术大学

申请日：2024-03-11

公开（公告）日：2024-05-28

公开（公告）号：CN117873118B

主分类号：G05D1/43

分类号：G05D1/43;G01C21/20;G05D1/242;G05D109/10

优先权：

专利状态码：有效-授权

法律状态：2024.05.28#授权;2024.04.30#实质审查的生效;2024.04.12#公开

摘要：本发明涉及机器人导航技术领域，公开了一种基于SAC算法与控制器的仓储物流机器人导航方法，将传感器数据输入到神经网络，输出避障动作；神经网络的训练过程包括：计算出各个障碍物与机器人之间的相对距离和相对速度；将障碍物与机器人的相对距离和相对速度作为机器人的状态；将状态分别输入到SAC算法和安全控制器，得到混合策略，根据混合策略得到当前时刻的动作，供机器人执行；将上一时刻的状态，以及当前时刻的状态、奖励、动作组成经验参数放入经验回放池；在经验回放池中随机抽取经验参数，对SAC算法的神经网络进行训练。安全控制器能够有效地指导强化学习过程，降低碰撞率，加速神经网络的收敛。

主权项：1.一种基于SAC算法与控制器的仓储物流机器人导航方法，其特征在于，将实时采集的传感器数据，输入到部署在机器人上的完成训练的神经网络，输出使机器人进行避障的动作；神经网络的训练过程包括：步骤一，由机器人车载传感器获取传感器数据；所述传感器数据包括机器人的速度、机器人的几何中心位置、目标点位置、第i个障碍物的几何中心位置、第i个障碍物的速度；并计算出各个障碍物与机器人之间的相对距离和相对速度；障碍物与机器人之间的相对距离，是指机器人的几何中心位置p与障碍物的几何中心位置之间的相对距离，且为矢量；障碍物与机器人之间的相对速度，是指机器人的几何中心位置p与障碍物的几何中心位置之间的相对速度；步骤二，将障碍物与机器人之间的相对距离和相对速度作为机器人当前时刻的状态；步骤三，将状态分别输入到SAC算法和安全控制器，得到混合策略，根据混合策略得到当前时刻的动作，供机器人执行，具体包括：安全控制器根据状态、机器人的几何中心位置与目标点位置之间的距离、机器人的几何中心位置与第i个障碍物的几何中心位置之间的距离，以及机器人速度和第i个障碍物速度之间的夹角，计算得到各个障碍物对机器人的权重向量的合向量，将合向量的方向作为策略；将状态输入到SAC算法的神经网络，输出策略；随机生成一个0到1之间的随机数，并将和随神经网络训练过程从1到0递减的策略决定因子进行比较，当时，混合策略采用策略，则动作使机器人沿策略对应的方向运动；当时，混合策略采用策略，则动作为机器人加速度以及与机器人当前行进方向的偏向角；根据状态和动作计算得到当前时刻的奖励；SAC算法所采用的神经网络包括Q评论家网络、V评论家网络、目标Q评论家网络、目标V评论家网络以及演员网络；步骤四，将上一时刻的状态，以及当前时刻的状态、奖励、动作组成经验参数放入经验回放池；步骤五，在经验回放池中随机抽取经验参数，对SAC算法的神经网络进行训练，更新所述神经网络的参数，包括Q评论家网络的参数、V评论家网络的参数、目标Q评论家网络的参数、目标V评论家网络的参数以及演员网络的参数；步骤六，循环执行步骤一至步骤五，直至训练次数达到设定的最大训练次数，得到完成训练的神经网络；步骤三中，所述安全控制器根据状态、机器人的几何中心位置与目标点位置之间的距离、机器人的几何中心位置与第i个障碍物的几何中心位置之间的距离，以及机器人速度和第i个障碍物速度之间的夹角，计算得到各个障碍物对机器人的权重向量的合向量，具体包括： ； ；其中，表示第i个障碍物对机器人的权重向量，所述权重向量的方向为第i个障碍物几何中心位置到机器人的几何中心位置的连线方向；、分别表示第一预设距离和第二预设距离；、分别为预设的第一目标点影响系数和第二目标点影响系数，分别决定了在和两种情况下目标点对于合向量的影响；为预设的障碍物排斥系数；为预设的常数；为含的多次项，表示机器人速度和第i个障碍物速度之间的夹角；为障碍物的总数量；表示机器人几何中心位置与第i个障碍物几何中心位置的距离，表示2范数；安全控制器输出的合向量为各个障碍物对机器人的权重向量的矢量和。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于SAC算法与控制器的仓储物流机器人导航方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD