买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：复旦大学

摘要：本发明涉及一种基于强化学习和进化算法的机器人优化控制方法，包括以下步骤：S1：获取待控制的机器人的状态空间和动作空间；初始化环境，获取所述的机器人的初始状态及对应样本，并存入经验池；S3：对初始动作添加高斯噪声，获取其状态进化动作对并存入档案馆；S4：获取每个时间步的样本及状态进化动作对，对应存储；S5：利用策略梯度更新策略网络的参数，利用进化动作梯度更新策略网络的参数；S6：逐步执行步骤S4～S5直到机器人翻倒或累计经过预设的轨迹时间步，机器人完成一条轨迹；S7：重新初始化环境，重复步骤S3～S6直到达到预设的最大时间步。与现有技术相比，本发明具有优化速度快，效果好等优点。

主权项：1.一种基于强化学习和进化算法的机器人优化控制方法，其特征在于，包括以下步骤：S1：获取待控制的机器人的状态空间和动作空间；S2：初始化环境，获取所述的机器人的初始状态s0，构建并初始化策略网络πθs，将初始状态输入到策略网络中得到初始动作a0，机器人执行初始动作并根据奖励函数获取奖励r0，同时机器人转移到下一个状态s1，将样本s0,a0,r0,s1存入经验池R；S3：对初始动作a0添加高斯噪声，使其变为包含有N个噪声动作的动作集合G0，将动作集合G0作为遗传算法的初始种群，通过种群的迭代进化获取进化动作将与对应的状态s0组成状态进化动作对存入档案馆A；S4：每个时间步根据对应状态获取并执行对应的动作，获取每个时间步对应的样本st,at,rt,st+1存入经验池，并获取每个时间步的状态进化动作对存入档案馆；S5：每经过预设步长的时间步，从经验池中抽样出多个样本，利用策略梯度更新策略网络的参数，再从档案馆中随机抽样出多个进化动作，利用进化动作梯度更新策略网络的参数；S6：逐步执行步骤S4～S5直到机器人翻倒或累计经过预设的轨迹时间步，机器人完成一条轨迹；S7：重新初始化环境，重复步骤S3～S6直到达到预设的最大时间步，完成策略网络的优化；所述的步骤S3、S4中获取状态进化动作对的步骤具体包括：第一步：对当前时间步的动作at添加高斯噪声，使其变为包含有N个噪声动作的动作集合Gt，作为遗传算法的初始种群；第二步：获取初始种群中的每个动作的适应度，选取适应度最高的多个动作组成精英动作种群E，初始种群中其他动作组成普通种群P；第三步：从精英动作种群中随机抽取一个动作从普通种群中各随机抽取一个动作对和进行交叉，产生两个子代动作；第四步：重复多次第三步，得到多个子代动作组成子代种群O，并对子代种群O进行突变，将突变后的子代种群O和精英种群E组成新一代的种群G，完成一次种群迭代；第五步：将新一代的种群作为初始种群，重复第二步至第四步多次，获取最后一代种群G*，将G*中适应度最高的动作a*作为当前时间步的进化动作并与对应的状态st组成状态进化动作对

全文数据：

权利要求：

百度查询： 复旦大学 一种基于强化学习和进化算法的机器人优化控制方法