申请/专利权人：湖南大学

申请日：2020-06-18

公开（公告）日：2024-06-25

公开（公告）号：CN111782871B

主分类号：G06F16/732

分类号：G06F16/732;G06F16/783;G06V20/40;G06V10/82;G06N3/084;G06N3/092

优先权：

专利状态码：有效-授权

法律状态：2024.06.25#授权;2020.11.03#实质审查的生效;2020.10.16#公开

摘要：本发明提供了一种基于时空强化学习的跨模态视频时刻定位方法，包括以下步骤：S01、输入完整视频和查询语句，抽取视频特征和查询语句特征，构建强化学习环境；S02、基于强化学习环境信息进行时序强化学习并定位视频的时序边界，环境信息包括视频全局特征、视频局部特征、定位边界和查询语句特征；S03、基于时序强化学习的定位边界进行空间强化学习，在所述环境中处理空间信息并逐帧追踪相关场景，并用注意力机制过滤无关信息；S04、根据空间强化学习更新时序强化学习的局部片段特征，使得所述空间强化学习和所述时序强化学习交替训练，直至收敛，得到对应查询语句的视频时刻片段。本发明提供的方法能够返回精确的视频定位边界，提高用户的查询体验。

主权项：1.一种基于时空强化学习的跨模态视频时刻定位方法，其特征在于，包括以下步骤：S01、输入完整视频和查询语句，抽取视频特征和查询语句特征，构建强化学习环境；S02、基于强化学习环境信息进行时序强化学习并定位视频的时序边界，所述环境信息包括视频全局特征、视频局部特征、定位边界和查询语句特征；S03、基于所述时序强化学习的定位边界进行空间强化学习，在所述环境中处理空间信息并逐帧追踪相关场景，并用注意力机制过滤无关信息；S04、根据空间强化学习更新时序强化学习的局部片段特征，使得所述空间强化学习和所述时序强化学习交替训练，直至收敛，得到对应查询语句的视频时刻片段，所述步骤S02中，所述时序强化学习步骤包括：定义状态为set＝[fe，lt，fot，fg]，其中fe为查询语句特征、lt为位置特征、fot为所述位置特征相应的空间信息特征，fg为视频全局特征，t是当前时间步；定义时序强化学习智能体的动作Ae，所述动作Ae包括同时向前移动起点、同时向前移动终点、同时向后移动起点、同时向后移动终点、单独向前向后移动起点和终点、单独向后移动起点和终点以及停止动作；设置所述时序强化学习智能体移动的初始位置为L0＝[0.25*n，0.75*n]，其中n是视频图像帧的总长度，动作每步的移动大小设置为n2ze，其中ze为确定的超参数；定义智能体的最大搜索步数；所述时序强化学习智能体从环境中获取所述状态后，执行动作Ae，使用IoU评估后得到每步的奖励，所述步骤S02中，使用IoU进行评估的公式为： 根据IoU的计算结果，定义所述时序强化学习智能体每步移动的奖励ret为： 其中，φ为惩罚系数，当IoUt大于IoUt-1，则当前动作将被视为正反馈，奖励为正，否则奖励为零或负，同时减去一个智能体对步数的惩罚，步骤S03中，所述空间强化学习使用目标跟踪框算法实现观察输入视频帧的空间信息，并输出连续图像帧的空间边界，步骤S03中，所述目标跟踪框算法包括：定义状态为ssk＝[fe,fok,fs]，其中fe为查询语句特征，fok为空间信息特征，fs为由时序强化学习定位到的局部视频特征，t是当前时间步；定义空间强化学习智能体的动作，控制局部目标框的移动，所述动作包括左移、右移、上移、下移、放大、缩小、变长、变宽以及停止动作；设置目标跟踪框为b＝[x，y，m，n]，其中[x，y]是目标跟踪框的中心点，[m，n]是所述目标跟踪框的大小；设置初始位置为b0＝[0.25*h，0.25*w，0.75*h，0.75*w]，其中h和w为图像帧的高度和宽度；设置步长为垂直方向的h2zs和水平方向的w2zs，其中zs为超参数；所述空间强化学习智能体使用IoU进行评估，得到其奖励函数r为： 其中Q值为状态执行动作后获得的期望回报，当更新特征后的Q值Qo大于更新前的Q值Qw，则奖励为1，Q值Qo不变则奖励为0，Q值Qo小于更新前的Q值Qw则奖励为-1。

全文数据：

权利要求：

百度查询： 湖南大学 基于时空强化学习的跨模态视频时刻定位方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD