申请/专利权人：浙江大学

申请日：2021-10-12

公开（公告）日：2024-06-11

公开（公告）号：CN113946710B

主分类号：G06F16/73

分类号：G06F16/73;G06F16/783;G06V20/40;G06V10/70;G06N20/00

优先权：

专利状态码：有效-授权

法律状态：2024.06.11#授权;2022.02.08#实质审查的生效;2022.01.18#公开

摘要：本发明公开了一种基于多模态与自监督表征学习的视频检索方法，应用于视频检索领域。给定一个搜索视频，可以在千万级视频库中找到画面相似或事件相似的视频。该技术可以为短视频平台的新闻事件聚合、版权保护侵权检索、多模态检索等问题的解决方案。本发明主要包括如下步骤：1.通过无标注图片数据和图片‑文本对数据构建监督数据集，利用监督数据集训练图片特征提取网络。2.通过对视频帧进行特征提取并计算领域密度的方法构建特征频次库。3.提取视频表征并构建视频库，利用近邻检索的方法进行视频检索。基于本发明所提出方法的基于多模态与自监督表征学习的视频检索方法在测试数据集中具有较高的准确率和召回率，具有良好的鲁棒性。

主权项：1.基于多模态与自监督表征学习的视频检索方法，其特征在于，包括以下步骤：步骤1：收集图像及对应的文本信息，所述的文本信息包括图像对应的标题、标签或文本描述；所述的图像及对应的文本信息构成图像-文本对；步骤2：利用步骤1中得到的图像构建自监督正样本集合；步骤3：利用步骤1中得到的图像-文本对和步骤2中得到的自监督正样本集合同步训练图片特征提取网络和文本特征提取网络；其中图像-文本对用于监督图片特征提取网络和文本特征提取网络，构建双网络对比学习损失函数；自监督正样本集合用于监督图片特征提取网络，构建单网络对比学习损失函数；所述步骤3中的训练方法为：1每一个大小为N的batch，输入原始图像{xk}，k＝1,2,…,N，图像对应的文本信息记为{tk}；2数据增强：ak＝augmentxk，augment为仿射变换、随机裁剪、网格失真、随机旋转、高斯模糊的随机组合；得到数据增强后的图像{ak}，k＝1,2,…,N；3将图片特征提取网络记为f.，文本特征提取网络记为h.，对k＝1,2,…,N有：zk＝fxk,ek＝htk,uk＝fak其中，zk为原始图像的图片特征，uk为数据增强后的图像的图片特征，ek为文本信息的文本特征；4计算相似度矩阵： 其中，表示第i个原始图像的图片特征与第j个文本信息的文本特征之间的相似度矩阵，表示第i个原始图像的图片特征与第j个数据增强后的图像的图片特征之间的相似度矩阵，上角标T表示转置，|.|表示取向量的模长；5计算总损失值loss： loss＝α×losst+β×lossa其中，losst表示双网络对比学习损失函数，lossa表示单网络对比学习损失函数，N每一次训练的图像数量，即batch大小；τ表示放大系数；exp.表示指数运算；α、β分别为两个损失函数的权重；6根据计算得到的总损失值loss，通过梯度下降法同步更新图片特征提取网络和文本特征提取网络；步骤4：收集视频并抽取关健帧，每一帧通过步骤3训练好的图片特征提取网络提取图片特征向量，构成所有关键帧图像的特征空间；在所有关键帧图像的特征空间中遍历每一个帧图像，在邻域内做近邻检索，统计邻域内的帧图像数量作为频次，对频次高于阈值的图片特征向量进行稀疏化注册到特征频次库中；步骤5：分别计算被搜索的视频库中的每一个视频、以及待搜索视频的视频级特征向量：针对每一个视频，均匀抽帧后通过步骤3训练好的图片特征提取网络提取每一帧图像的图像特征向量，每一帧图像的图像特征向量都在步骤4的特征频次库中进行top1阈值检索，检索到的频次计为图像特征向量的频次；对所有帧的图像特征向量及其频次倒数进行加权求均值，作为视频级特征向量；步骤6：利用被搜索的视频库中每一个视频的视频级特征向量构建近邻搜索图，对待搜索视频的视频级特征向量在近邻搜索图中进行搜索，得到检索结果。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于多模态与自监督表征学习的视频检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD