申请/专利权人：云南师范大学

申请日：2024-05-16

公开（公告）日：2024-06-14

公开（公告）号：CN118196145A

主分类号：G06T7/246

分类号：G06T7/246;G06N3/0455;G06N3/0895;G06N3/096

优先权：

专利状态码：在审-公开

法律状态：2024.06.14#公开

摘要：本发明涉及一种基于单点标注与弱半监督的教师课堂视觉追踪方法，属于弱半监督单目标追踪技术领域。本发明利用蒸馏模型的思想，首先训练教师模型，即一个点到边界框的回归器，用于生成伪标签，然后通过结合小部分完全标注的边界框信息与大部分单点标注的弱监督信息，训练一个学生模型‑单目标追踪模型，进而满足少量数据标注训练目标追踪模型的需求。本发明基于流行的ViT架构提出了一种高效的单点标注信息预测边界框的方法，为仅带有点标注的图像生成可信的伪标签，极大减轻了数据集构建的标注工作量和成本。通过利用点标注信息来扩充模型的训练，有效推进目标追踪任务的解决。

主权项：1.一种基于单点标注与弱半监督的教师课堂视觉追踪方法，其特征在于：以ViT模型作为主干网络，首先训练教师模型，即一个点到边界框的回归器，用于生成伪标签，然后结合完全标注的边界框信息与单点标注的弱监督信息，训练学生模型即单目标追踪模型，实现教师课堂视觉追踪；具体步骤如下：Step1：点到边界框回归器训练阶段；Step1.1：通过少量完全标注的的课堂授课教师对象边界框，利用高斯分布随机在教师目标对象边界框内生成单个点标注信息；Step1.2：将待追踪的教师目标图像切割成若干图像块，利用基于ViT的图像编码器进行图像特征提取；Step1.3：将Step1.1随机生成的点标注信息转换为点提示信息，再编码为点词符特征；Step1.4：将Step1.2得到的图像特征和Step1.3得到的点词符特征输入到图像解码器中，通过解码器生成目标对象的边界框及点到边界框的回归器模型；Step2：教师模型与学生模型联合阶段；Step2.1：通过Step1训练好的点到边界框回归器模型，对只有点标注没有边界框的图像进行推理，获得点标注对应的目标对象边界框；Step2.2：将Step2.1通过点标注生成的目标对象边界框与原始带有边界框标注的图像进行合并，构成一个新的训练数据集；Step2.3：利用模型蒸馏的方法，将教师模型训练好的部分参数初始化学生模型，使学生模型继承教师模型的先验知识；Step2.4：通过Step2.2组建的训练数据集训练学生模型使其成为单目标追踪模型。

全文数据：

权利要求：

百度查询： 云南师范大学 一种基于单点标注与弱半监督的教师课堂视觉追踪方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD