买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明涉及一种仿人足球机器人传球控制方法，采用全新训练模型设计，针对持球机器人确定传球后的传球动作进行控制，能够有效提高传球成功率。并且本发明基于所设计仿人足球机器人传球控制方法，进一步设计球队控球方法，针对全队机器人进行统筹控制，在提高传球成功率的同时，能够有效提高球队持球时长，增加赢球率。

主权项：1.一种仿人足球机器人传球控制方法，针对持球机器人确定传球后的传球动作进行控制，其特征在于，包括如下步骤：步骤001.判断持球机器人视角范围内己方机器人的数量是否大于1，是则进入步骤003；否则进入步骤002；步骤002.将以持球机器人位置为顶点、持球机器人位置与其视角范围内己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为目标传球区，并进入步骤006；步骤003.分别针对持球机器人视角范围内的各个己方机器人，以持球机器人位置为顶点、持球机器人位置与己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为待选目标传球区，进而获得分别对应持球机器人视角范围内各个己方机器人的待选目标传球区，然后进入步骤004；步骤004.分别针对各个待选目标传球区，获得持球机器人位置与待选目标传球区中己方机器人位置之间的距离dis_K，以及持球机器人位置与该待选目标传球区中敌方机器人位置之间的距离dis_T，然后根据如下公式：state1dis_Kdis_T：ball_pass＝dis_TR+1；state2dis_K＝dis_T：ball_pass＝1；state3dis_Kdis_T：ball_pass＝0；获得对应于该待选目标传球区的ball_pass值，进而获得分别对应各个待选目标传球区的ball_pass值，然后进入步骤005；步骤005.将最大ball_pass值所对应的待选目标传球区作为目标传球区，并进入步骤006；步骤006.持球机器人将足球踢向目标传球区，并向目标传球区中的己方机器人发送接球指令，针对持球机器人确定传球后的传球动作实现控制。

全文数据：一种仿人足球机器人传球控制方法及球队控球方法技术领域[0001]本发明涉及一种仿人足球机器人传球控制方法及球队控球方法，属于足球机器人技术领域。背景技术[0002]机器人足球是人工智能与机器人研究领域的前沿课题。RoboCup3D仿真环境是基于一个通用的多智能体物理模拟器--simspark。该模拟器采用开放的动力学引擎OpenDynamicsEngineODE库以实现其对刚体动力学和碰撞检测与摩擦的逼真模拟。随着机器人技术的发展，有效的传球动作与传球战术已经成为该领域的热点问题。[0003]Peterstone为了解决2D仿真平台中机器人的传球问题，提出了一个有效的训练模型一一KeepAway。该训练模型是一个典型的强化学习模型，其训练思想是在一个固定的区域内，对固定数量的双方球员进行训练，使一方球员获得最长持球能力。训练区域内的所有智能体分为keeper守球者和taker夺球者两种，研究人员一旦设定了球场大小和双方球员数量这些参数信息就可以建立训练模型，对训练区域内的智能体进行反复不间断的强化训练，直至每个keeper能够在指定情境下作出对应动作，以此实现持球时间最大化。[0004]但是，3D仿真平台与2D仿真平台无论是比赛环境还是智能体特点都存在极大差异，因此，单纯的将KeepAway平台直接嫁接到3D平台中，是不可行的。主要问题如下：1底层方面:两种仿真平台采用的是两种不同的机器人模型，不同结构与参数的机器人模型必然会引起一系列底层问题；2行为层方面:2D仿真平台中将球员视为质点，则不存在机器人摔倒等行为问题;另夕卜，两者环境信息的感知与行为的执行方式也不同；3策略层方面:2D仿真中的KeepAway训练模型强调的是智能体的控球时间问题，没能兼顾球员之间的配合，这对3D实际比赛的意义不大。[0005]因此，想要在RoboCup3D仿真平台上应用KeepAway训练模型训练出有效的传球战术，就需要对训练模型、学习算法等作出改进。发明内容[0006]本发明所要解决的技术问题是提供一种采用全新训练模型设计，能够有效提高传球成功率的仿人足球机器人传球控制方法。[0007]本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种仿人足球机器人传球控制方法，针对持球机器人确定传球后的传球动作进行控制，包括如下步骤：步骤001.判断持球机器人视角范围内己方机器人的数量是否大于1，是则进入步骤003;否则进入步骤002;步骤002.将以持球机器人位置为顶点、持球机器人位置与其视角范围内己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为目标传球区，并进入步骤006;步骤003.分别针对持球机器人视角范围内的各个己方机器人，以持球机器人位置为顶点、持球机器人位置与己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为待选目标传球区，进而获得分别对应持球机器人视角范围内各个己方机器人的待选目标传球区，然后进入步骤004;步骤004.分别针对各个待选目标传球区，获得持球机器人位置与待选目标传球区中己方机器人位置之间的距离dis_K，以及持球机器人位置与该待选目标传球区中敌方机器人位置之间的距离dis_T，然后根据如下公式：获得对应于该待选目标传球区的ball_pass值，进而获得分别对应各个待选目标传球区的ball_pass值，然后进入步骤005;步骤005.将最大ball_pass值所对应的待选目标传球区作为目标传球区，并进入步骤006；步骤006.持球机器人将足球踢向目标传球区，并向目标传球区中的己方机器人发送接球指令，针对持球机器人确定传球后的传球动作实现控制。[0008]作为本发明的一种优选技术方案:所述步骤004中，分别针对各个待选目标传球区，在获得持球机器人位置与待选目标传球区中己方机器人位置之间的距离dis_K，以及持球机器人位置与该待选目标传球区中敌方机器人位置之间的距离dis_T的同时，判断持球机器人视角范围内是否存在敌方球门，是则定义direction^为预设正数值，否则定义direCti〇n_0为预设负数值;然后根据如下公式：获得对应于该待选目标传球区的ball_pass值，进而获得分别对应各个待选目标传球区的ball_pass值。[0009]作为本发明的一种优选技术方案:所述预设长度R小于等于所述机器人的最大传球距离。[0010]本发明所述一种仿人足球机器人传球控制方法采用以上技术方案与现有技术相比，具有以下技术效果:本发明设计的仿人足球机器人传球控制方法，采用全新训练模型设计，针对持球机器人确定传球后的传球动作进行控制，能够有效提高传球成功率。[0011]基于上述设计，本发明还要解决的技术问题是提供一种基于仿人足球机器人传球控制方法的球队控球方法，基于所设计仿人足球机器人传球控制方法，针对全队机器人进行统筹控制，在提高传球成功率的同时，能够有效提高球队持球时长，增加赢球率。[0012]本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于仿人足球机器人传球控制方法的球队控球方法，包括如下步骤：步骤A.持球机器人获得足球后，判断持球机器人是否适合带球跑位，是则进入步骤B;否则进入步骤D;步骤B.持球机器人执行带球跑位，并进入步骤C;步骤C.判断持球机器人当前位置是否适合继续带球跑位，是则返回步骤B;否则进入步骤D;步骤D.判断持球机器人带球转动，直至其视角范围内存在己方机器人，并进入步骤E;步骤E.持球机器人执行所述步骤OO1至所述步骤006，且步骤006之后，进入步骤F;步骤F.所述目标传球区中的己方机器人根据所接收来自所述持球机器人的接球指令进行跑位，并进入步骤G;步骤G.判断目标传球区中的己方机器人是否接到足球，是则将该己方机器人更新为持球机器人，并返回步骤A;否则进入步骤H;步骤H.判断足球是否被敌方机器人获得，是则己方球队控球结束，否则进入步骤I;步骤I.判断足球是否滚出球场边界，是则己方球队控球结束，否则返回步骤G。[0013]作为本发明的一种优选技术方案:执行步骤A的同时，开始计时，直到己方球队控球结束，获得己方球队控球时长。[0014]本发明所述一种基于仿人足球机器人传球控制方法的球队控球方法采用以上技术方案与现有技术相比，具有以下技术效果:本发明设计基于仿人足球机器人传球控制方法的球队控球方法，基于所设计仿人足球机器人传球控制方法，针对全队机器人进行统筹控制，在提高传球成功率的同时，能够有效提高球队持球时长，增加赢球率。附图说明[0015]图1是本发明所设计仿人足球机器人传球控制方法的流程示意图；图2是本发明所设计仿人足球机器人传球控制方法中有效传球区域示意图；图3a为应用本发明设计方法与UTAustinViIla球队实战对抗过程中53s的传球示意图；图3b为应用本发明设计方法与UTAustinViIla球队实战对抗过程中243s的传球示意图；图4a为应用本发明设计方法与magmaOffenburg球队实战对抗过程中51s的传球示意图；图4b为应用本发明设计方法与magmaOffenburg球队实战对抗过程中72.3s的传球示意图。具体实施方式[0016]下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。[0017]在对于仿人足球机器人的设计过程中，想要在R〇b〇Cup3D仿真平台上应用KeepAway训练模型训练出有效的传球战术，就需要对训练模型、学习算法等作出改进。根据KeepAway训练思想，参照RoboCup2D仿真平台中的训练模型，本发明设计了一种仿人足球机器人传球控制方法，针对持球机器人确定传球后的传球动作进行控制，在实际的应用当中，如图1所示，具体包括如下步骤：步骤001.判断持球机器人视角范围内己方机器人的数量是否大于1，是则进入步骤003;否则进入步骤002。[0018]步骤002.如图2所示，将以持球机器人位置为顶点、持球机器人位置与其视角范围内己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为目标传球区，并进入步骤006。[0019]步骤003.分别针对持球机器人视角范围内的各个己方机器人，以持球机器人位置为顶点、持球机器人位置与己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为待选目标传球区，进而获得分别对应持球机器人视角范围内各个己方机器人的待选目标传球区，然后进入步骤004。[0020]步骤004.分别针对各个待选目标传球区，在获得持球机器人位置与待选目标传球区中己方机器人位置之间的距离dis_K，以及持球机器人位置与该待选目标传球区中敌方机器人位置之间的距离dis_T的同时，判断持球机器人视角范围内是否存在敌方球门，是则定义direction_0为预设正数值，否则定义direction_0为预设负数值;然后根据如下公式：获得对应于该待选目标传球区的ball_pass值，进而获得分别对应各个待选目标传球区的ball_pass值，然后进入步骤005。[0021]步骤005.将最大ball_pass值所对应的待选目标传球区作为目标传球区，并进入步骤006。[0022]步骤006.持球机器人将足球踢向目标传球区，并向目标传球区中的己方机器人发送接球指令，针对持球机器人确定传球后的传球动作实现控制。[0023]上述所设计仿人足球机器人传球控制方法在实际应用中，针对所述预设长度R，具体设计采用小于等于所述机器人的最大传球距离。并且基于上述所设计的仿人足球机器人传球控制方法，本发明还进一步设计了基于仿人足球机器人传球控制方法的球队控球方法，实际应用中，具体包括如下步骤：步骤A.持球机器人获得足球后，判断持球机器人是否适合带球跑位，是则进入步骤B;否则进入步骤D。[0024]步骤B.持球机器人执行带球跑位，并进入步骤C。[0025]步骤C.判断持球机器人当前位置是否适合继续带球跑位，是则返回步骤B;否则进入步骤D。[0026]步骤D.判断持球机器人带球转动，直至其视角范围内存在己方机器人，并进入步骤E。[0027]步骤E.持球机器人执行所述步骤001至所述步骤006，且步骤006之后，进入步骤F0[0028]步骤F.所述目标传球区中的己方机器人根据所接收来自所述持球机器人的接球指令进行跑位，并进入步骤G。[0029]步骤G.判断目标传球区中的己方机器人是否接到足球，是则将该己方机器人更新为持球机器人，并返回步骤A;否则进入步骤H。[0030]步骤H.判断足球是否被敌方机器人获得，是则己方球队控球结束，否则进入步骤Io[0031]步骤I.判断足球是否滚出球场边界，是则己方球队控球结束，否则返回步骤G。[0032]在上述所设计球队控球方法的应用过程中，执行步骤A的同时，开始计时，直到己方球队控球结束，获得己方球队控球时长。[0033]接下来，将上述所设计仿人足球机器人传球控制方法及球队控球方法应用于KeepAway3vs2的训练场景当中，首先初始化训练场景。[0034]1训练场景：在非球门附近选定IOmXIOm的训练区域，放置角色分别为前锋CenterForwardCF、左小前锋（SmallForwardinRightSFR和右小前锋（SmallForwardinLeftSFL的己方球员和两名夺球方球员。[0035]2高层动作:PeterStone根据人类对足球知识，通过封装球员的底层原子动作，为KeepAway认为定义了一系列的高层动作。本专利针对高层策略进行研究，所设计的策略均基于这些现有的高层动作，同时对动作的相应算法进行改进，使之适用于R〇boCup3D仿真平台。守球球员使用的高层动作包括：PassBallk传球）：将球踢向队友k;GetOpen〇跑位）：非带球球员从当前位置跑向下一位置，以达到截球或者控球的目的；Dribble带球）：带球球员带球跑至合适位置。[0036]3角色任务:离球最近的球员角色为CF，CF的主要任务是获得或者保持球权。CF获得球权后，通过环境反馈的信息判断是否适合传球，如果适合则执行传球动作，反之执行带球行为。此中，CF需确保球在己方直到球成功传到队友脚下。在CF持球过程中，其他非持球队员执行GetOpen，跑到最适合接球的位置，等待传球。[0037]然后，基于上述所搭建场景，将本发明所设计仿人足球机器人传球控制方法及球队控球方法具体应用到我方仿人足球机器人球队上，并分别与世界一流队伍171八1181:;[11¥;[113和1]^81]^^€6111311坪进行实战，观察在实战中我方仿人足球机器人的表现，在特定情境下，是否能够做出准确传球判断，是持球时间最大化，以此证明本专利提出的方法在实战中的有效性。[0038]在实际与UTAustinVilla球队进行实战对抗过程中，可以观察到，如图3a所示，在53s的时候，4号球员获得球权，并准备传球给9号球员；图3a中，实线表示每个球员在该时刻下的行走目标点，段状线表示传球轨迹，而点状线则表示未使用KeepAway训练模型进行强化学习时在该时刻带球行走的目标点。同样，在实际与UTAustinViIla球队进行实战对抗过程中，如图3b所示，在243s的时候，3号球员获得球权，并且准确判断球场情况，执行传球动作。由此可见，经过强化训练的队伍在特定情境下，可以准确判断场上局势，使用传球战术，在适当的时机将球转移给队友，以此增加持球时间，提高持球率，使对手很难获得球权。[0039]在实际与magmaOffenburg球队进行实战对抗过程中，如图4a和图4b，同样可以观察到，在比赛进行到51s和72s时，球员都面临着传球和射门的选择。在51s时，拥有球权的6号球员既没有选择直接射门，也没有选择传球给8号队友（点状线表示的方向），而是选择带球前进实线表示的方向）。这是因为，受过强化训练的球员可以根据场上的信息进行准确判断，6号球员如果直接射门，会被守门员阻截，如果传球给8号，同样，被对手截球的可能性会很大，在此种情况下，选择带球前进则会获得最大奖赏。而在72s时，获得球权的3号球员可以选择直接射门（段状线表示方向）和传球给7号（点状线表示方向），但此时对方守门员与周围的球员均已倒下，是射门的最佳时机，故3号球员选择了直接射门。[0040]本发明将所设计仿人足球机器人传球控制方法及球队控球方法进一步进行实际应用，与截球表现较为出色的CIT队伍进行对抗，并以实战进行传球实验所获得的数据，实验中将由我方球员从中场开始执行传球，当经过至少3名球员后，球被传至对方禁区则视为传球成功，超出150s足球未到达对方禁区或球被对方截断视为传球失败，在以上规则下，具体我方仿人足球机器人球队与截球表现较为出色的CIT队伍进行100次模拟传球实验，获得如下表2所示数据表2如表2所示，实验数据表明本专利所研究的传球战术在实战比赛当中同样有效，整个半场传球时间在30s以上的成功率较高，150s内成功61次，被拦截20次。超时的19次中也有12次成功到达对方禁区，成功率为61%。新的传球策略有较好的实用性，球队持球传球率大大提尚。[0041]上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

权利要求：1.一种仿人足球机器人传球控制方法，针对持球机器人确定传球后的传球动作进行控制，其特征在于，包括如下步骤：步骤001.判断持球机器人视角范围内己方机器人的数量是否大于1，是则进入步骤003;否则进入步骤002;步骤002.将以持球机器人位置为顶点、持球机器人位置与其视角范围内己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为目标传球区，并进入步骤006;步骤003.分别针对持球机器人视角范围内的各个己方机器人，以持球机器人位置为顶点、持球机器人位置与己方机器人位置间连线为中线、预设长度R为半径、预设扇形弧度的扇形区域作为待选目标传球区，进而获得分别对应持球机器人视角范围内各个己方机器人的待选目标传球区，然后进入步骤004;步骤004.分别针对各个待选目标传球区，获得持球机器人位置与待选目标传球区中己方机器人位置之间的距离dis_K，以及持球机器人位置与该待选目标传球区中敌方机器人位置之间的距离dis_T，然后根据如下公式：stateIdis_K〈dis_T：ball_pass=dis_TR+1；state2dis_K=dis_T：ball_pass=l；state3dis_Kdis_T：ball_pass=0；获得对应于该待选目标传球区的ball_pass值，进而获得分别对应各个待选目标传球区的ball_pass值，然后进入步骤005;步骤005.将最大ball_pass值所对应的待选目标传球区作为目标传球区，并进入步骤006；步骤006.持球机器人将足球踢向目标传球区，并向目标传球区中的己方机器人发送接球指令，针对持球机器人确定传球后的传球动作实现控制。2.根据权利要求1所述一种仿人足球机器人传球控制方法，其特征在于:所述步骤004中，分别针对各个待选目标传球区，在获得持球机器人位置与待选目标传球区中己方机器人位置之间的距离dis_K，以及持球机器人位置与该待选目标传球区中敌方机器人位置之间的距离dis_T的同时，判断持球机器人视角范围内是否存在敌方球门，是则定义direction_0为预设正数值，否则定义direction_0为预设负数值;然后根据如下公式：stateIdis_K〈dis_T：ball_pass=dis_TR+l+direction_0；state2dis_K=dis_T：ball_pass=l+direction_0；state3dis_Kdis_T：ball_pass=direction_0；获得对应于该待选目标传球区的ball_pass值，进而获得分别对应各个待选目标传球区的ball_pass值。3.根据权利要求1或2所述一种仿人足球机器人传球控制方法，其特征在于:所述预设长度R小于等于所述机器人的最大传球距离。4.一种基于权利要求1至3中任意一项所述一种仿人足球机器人传球控制方法的球队控球方法，其特征在于，包括如下步骤：步骤A.持球机器人获得足球后，判断持球机器人是否适合带球跑位，是则进入步骤B;否则进入步骤D;步骤B.持球机器人执行带球跑位，并进入步骤C;步骤C.判断持球机器人当前位置是否适合继续带球跑位，是则返回步骤B;否则进入步骤D;步骤D.判断持球机器人带球转动，直至其视角范围内存在己方机器人，并进入步骤E;步骤E.持球机器人执行所述步骤⑻1至所述步骤006，且步骤006之后，进入步骤F;步骤F.所述目标传球区中的己方机器人根据所接收来自所述持球机器人的接球指令进行跑位，并进入步骤G;步骤G.判断目标传球区中的己方机器人是否接到足球，是则将该己方机器人更新为持球机器人，并返回步骤A;否则进入步骤H;步骤H.判断足球是否被敌方机器人获得，是则己方球队控球结束，否则进入步骤I;步骤I.判断足球是否滚出球场边界，是则己方球队控球结束，否则返回步骤G。5.根据权利要求4所述一种基于仿人足球机器人传球控制方法的球队控球方法，其特征在于，执行步骤A的同时，开始计时，直到己方球队控球结束，获得己方球队控球时长。

百度查询： 南京邮电大学 一种仿人足球机器人传球控制方法及球队控球方法