龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：中国科学院自动化研究所
申请日：2024-05-23
公开（公告）日：2024-06-21
公开（公告）号：CN118227831A
主分类号：G06F16/78
分类号：G06F16/78;G06F16/783;G06N3/0455;G06N3/08
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明涉及视频检索技术领域，提供一种跨模态视频检索方法、装置及电子设备，方法包括：提取查询文本的隐式特征和词表特征；基于特征提取模型，得到各候选视频的隐式特征和各候选视频的词表特征；基于查询文本的隐式特征与各候选视频的隐式特征之间的相似度以及查询文本的词表特征与各候选视频的词表特征之间的相似度，确定查询文本对应的检索视频；特征提取模型的词表特征训练阶段以最小化样本视频的词表特征与样本描述文本的词表特征之间的差异为训练目标，联合训练阶段以样本视频的隐式特征与样本描述文本的隐式特征之间的相似度作为软标签，最小化学生预测结果与软标签之间的差异为训练目标。本发明能够提高跨模态视频检索能力。
主权项：1.一种跨模态视频检索方法，其特征在于，包括：提取查询文本的隐式特征和词表特征；将各候选视频以及各候选视频的描述文本输入至特征提取模型，得到所述特征提取模型输出的各候选视频的隐式特征和各候选视频的词表特征；基于所述查询文本的隐式特征与各候选视频的隐式特征之间的相似度，以及所述查询文本的词表特征与各候选视频的词表特征之间的相似度，从各候选视频中确定所述查询文本对应的检索视频；所述特征提取模型基于样本视频以及所述样本视频的样本描述文本训练得到，所述特征提取模型的训练阶段包括词表特征训练阶段以及联合训练阶段，所述词表特征训练阶段以最小化所述样本视频的词表特征与所述样本描述文本的词表特征之间的差异为训练目标，所述联合训练阶段以所述样本视频的隐式特征与所述样本描述文本的隐式特征之间的相似度作为软标签，最小化学生预测结果与所述软标签之间的差异为训练目标，所述学生预测结果指所述样本视频的词表特征与所述样本描述文本的词表特征之间的相似度。
全文数据：
权利要求：
百度查询： 中国科学院自动化研究所 跨模态视频检索方法、装置及电子设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号