申请/专利权人：北京理工大学

申请日：2024-03-20

公开（公告）日：2024-06-25

公开（公告）号：CN118246667A

主分类号：G06Q10/0631

分类号：G06Q10/0631;G06N3/0455;G06N3/047;G06N3/092;G06Q10/067;G06Q10/087

优先权：

专利状态码：在审-公开

法律状态：2024.06.25#公开

摘要：本发明公开了多仓储机器人动态调度系统及方法，属于物流调度及人工智能技术领域，构建了多仓储机器人动态调度系统和调度模型和基于注意力机制的层次化神经网络结构，对多仓储机器人调度任务结构进行分解，有效降低多仓储机器人调度问题的动作空间维度，避免维数灾难，提高强化学习算法的学习效率；采用深度强化学习算法训练层次化神经网络模型，提高调度系统计算求解速度；调度系统采用事件触发的方式触发调度求解算法的运行条件，求解周期时间不固定，能够减少计算资源浪费，有利于加速训练时数据采样，加快学习进程；充分利用神经网络部署时推理速度快的优点，可根据动态环境状态实时生成任务指令，缩减调度周期所需时间，提高调度系统的柔性。

主权项：1.多仓储机器人动态调度方法，其特征在于，包括以下步骤：步骤1：建立动态多智能体总调度模型：建立与多货架物流仓储系统相关的网格化地图模型，定义机器人与仓储调度系统的交互模型，设定动态多仓储机器人调度系统的优化目标；步骤2：构建初始状态，建立初始任务图和机器人初始状态列表；根据网格化地图模型，建立初始时刻的任务图，建立并初始化每个机器人状态列表，包括机器人繁忙状态列表、机器人货架搬运进程计数列表和机器人历史路程列表；步骤3：建立由策略网络和价值网络构成的基于注意力机制的层次化神经网络模型；其中策略网络为层级结构，分别由机器人编号策略网络和位置策略网络两层神经网络构成；步骤4：随机生成一批问题实例，设为M个；定义步骤2中的初始状态；根据步骤3中建立的层次化神经网络模型，初始化神经网络参数和掩码，初始化训练步数t和回合数为0；初始化平均奖励为0；步骤5：将步骤4中M个问题实例所对应的机器人目前的状态观测结果输入给步骤3建立的策略网络；策略网络输出每个问题实例对应的动作策略分布概率πj；j＝1,2,...,M；其中，机器人编号策略网络输出所选择机器人的概率位置策略网络输出所选择位置的概率策略网络最终输出为： 其中，θt、θt,1和θt,2分别表示训练步数t下策略网络、机器人编号策略网络以及位置策略网络的网络参数；表示层次神经网络参数θt时，在状态sj下通过动作策略分布概率πj选择动作时，网络所选择的动作的概率值；步骤6：运行步骤4中的价值网络：输入步骤4中的M个问题实例所对应的状态观测结果给价值网络，输出对当前状态观测结果的价值估计Vst,ω；步骤7：更新状态观测结果：更新步骤2中的任务图；根据设定的交互模型，更新步骤2中的机器人状态列表：更新机器人繁忙状态列表、机器人货架搬运进程计数列表和机器人历史路程列表；训练步数自增1；步骤8：根据步骤7中更新前后的状态，计算第t训练步数状态转移到第t+1训练步数状态的即时奖励Rt；步骤9：运行步骤4中的价值网络；输入更新后的状态观测结果给价值网络，输出训练步数为t+1时的价值估计结果Vst+1,ω；步骤10：根据步骤9的训练步数为t时价值估计结果、步骤8的即时奖励和步骤9的训练步数为t+1时的价值估计结果，按照下式计算每个问题实例的时序差分奖励δt；δt＝Rt+Vst+1,ω-Vst,ω步骤11：根据步骤6中被选择动作的概率步骤12的时序差分奖励，更新策略网络参数： 其中，θt+1表示t+1时的策略网络参数，j表示问题实例序号，δt,jπj表示在动作策略分布概率πj下的时序差分奖励值，表示策略网络参数θt的梯度；更新价值网络参数： 其中，ωt+1表示训练步数t+1下价值网络的参数，表示训练步数t下价值网络参数ωt的梯度；步骤12：执行步骤4到步骤11直至达到训练最大回合数，结束训练；保存层次化神经网络模型文件和训练过程文件；步骤13：利用训练完成的策略网络，根据观测的系统当前状态动态地计算出每个仓储移动机器人下一步的搬运指令，仓储机器人每完成一次搬运动作，就执行下一步搬运任务指令，从而实现整个多仓储机器人系统的动态调度任务。

全文数据：

权利要求：

百度查询： 北京理工大学 多仓储机器人动态调度系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD