买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东大学

摘要：本发明提供一种基于语义时空表示学习的主动目标跟踪方法、系统及设备，属于计算机视觉技术领域，获取目标者的二维位置图像，并对深度图像进行全局非线性映射；提取目标者的二维位置图像的语义知识，提取全局非线性映射后的深度图像的空间知识；将语义知识和空间知识进行融合，得到目标者当前状态的估计；根据目标者当前状态的估计，获取目标者跟踪控制策略。本发明可以对三维场景的语义、空间和时间知识实现共同理解；将目标者图像和深度图像的二维位置作为输入，增强和融合了多模态知识，不同模态的特征被增强并集成，生成了用于相机控制的可靠的控制策略，提高了模型的感知能力，有利于避障，当遮挡目标和被遮挡的对象具有相似的RGB外观时，保证了可靠的跟踪性能。

主权项：1.一种基于语义时空表示学习的主动目标跟踪方法，其特征在于，包括：对包含目标者的RGB图像和深度图像进行预处理，获取目标者的二维位置图像，并对深度图像进行全局非线性映射；对于RGB图像，使用被动跟踪器利用目标者在开始时刻和当前时刻之间的外表相似性来生成围绕目标者的边界框；将边界框之外的像素设置为零，并使用深度图像中相应位置的像素来补充空间信息和上下文信息；提取目标者的二维位置图像的语义知识，提取全局非线性映射后的深度图像的空间知识；所述全局非线性映射，即：其中，i,j是像素的坐标，α是超参数；将语义知识和空间知识进行融合，得到目标者当前状态的估计；分别模拟语义知识的模态内关系、空间知识的模态内关系以及语义知识和空间知识之间的模态间关系；建模语义知识的模态内关系内的时间一致性以及空间知识的模态内关系的时间一致性；融合模态间关系和建模时间一致性的模态内关系，得到目标者的当前状态估计；分别获取二维位置图像的语义特征和全局非线性映射后的深度图像的空间特征，采用多头注意机制分别增强获取的语义特征和空间特征，分别确定语义知识的模态内关系以及空间知识的模态内关系；采用多头注意机制，使语义知识的语义特征和空间知识的空间特征相互之间接收信息，确定语义知识和空间知识之间的模态间关系；在确定语义知识的模态内关系时，在多头注意机制后通过残余连接和归一化操作，实现语义特征的增强；在确定空间知识的模态内关系时，在多头注意机制后通过两次残余连接和归一化操作，使用一个前馈网络来编码两次残余连接和归一化操作之间的全局信息，实现空间特征的增强；根据目标者当前状态的估计，获取目标者跟踪控制策略。

全文数据：

权利要求：

百度查询： 山东大学 基于语义时空表示学习的主动目标跟踪方法、系统及设备