Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜宁夏大学刘立波获国家专利权

恭喜宁夏大学刘立波获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜宁夏大学申请的专利基于指令引导GPT的文本检索视频方法、系统和设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119166851B

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411294526.5,技术领域涉及:G06F16/735;该发明授权基于指令引导GPT的文本检索视频方法、系统和设备是由刘立波;习怡萌设计研发完成,并于2024-09-14向国家知识产权局提交的专利申请。

基于指令引导GPT的文本检索视频方法、系统和设备在说明书摘要公布了:本发明公开了基于指令引导GPT的文本检索视频方法、系统和设备,涉及检索技术领域,包括步骤:获取多个视频及其对应的多条描述性文本;将描述性文本输入跨模态检索模型中扩展文本,以及为视频生成相应字幕;对字幕、扩展文本和描述性文本进行编码,获取编码后的描述性文本编码特征与字幕和扩展文本编码的相似度,根据相似度结果获取增强文本,将增强文本与伪配对视频进行跨模态检索模型的训练,获得最终的跨模态检索模型,并进行检索。本发明实现了将真实场景与描述性文本关联起来,从而扩展文本中的实体信息,提高视频文本之间的相关性,促使模型理解常识性信息,减少增强文本与视频不匹配对检索性能的影响,提高检索效果。

本发明授权基于指令引导GPT的文本检索视频方法、系统和设备在权利要求书中公布了:1.一种基于指令引导GPT的文本检索视频方法,其特征在于,包括:获取多个视频及其对应的多条描述性文本;将所述描述性文本输入跨模态检索模型中,通过指令引导深度学习模型GPT对描述性文本扩展,获得扩展文本,并为所述视频生成相应的字幕;将扩展文本与对应的描述性文本拼接后进行编码,获得描述性文本编码特征,并对所述字幕和视频进行编码,获得字幕编码特征和视频编码特征;获取描述性文本编码特征与视频编码特征间的相似度,并获取描述性文本编码特征与字幕编码特征间的相似度;在所述描述性文本编码特征与非匹配字幕的相似度高于匹配字幕时,将非匹配字幕作为伪配对字幕;将描述性文本编码特征与伪配对字幕的共同描述作为增强文本,并通过增强文本与伪配对视频对跨模态检索模型进行训练,获得最终的跨模态检索模型;将待检索数据输入最终的跨模态检索模型中,通过输出特征向量的余弦相似性排序获得检索结果;所述通过指令引导深度学习模型GPT对描述性文本扩展,获得扩展文本,并为所述视频生成相应的字幕,包括如下步骤:输入一条手动设置指令,并使用该指令引导GPT对输入文本进行扩展;具体表达式为:Ei~G·|Ti,I;其中,G·为GPT模型,Ti为第i个描述性文本,I为手动输入指令,Ei为第i个描述性文本经GPT模型扩展后的扩展文本;使用ZeroCap模型生成视频的字幕,并将生成的字幕与扩展文本对齐;具体表达式为:Ci~Z·|Vi;其中,Z·代表视频的字幕生成模型,Vi代表第i个视频,Ci表示第i个视频对应生成的字幕;将扩展文本与对应的描述性文本拼接后进行编码,获得描述性文本编码特征,并对所述字幕和视频进行编码,获得字幕编码特征和视频编码特征,包括如下步骤:将所述扩展文本和对应描述性文本拼接后送入文本编码器进行编码,并获取编码后文本特征的平均值,将编码后文本特征的平均值作为描述性文本编码特征;具体表达式为: 其中,为第i个描述性文本编码特征,Ti为第i个描述性文本,Tij为第i个描述性文本对应的第j个扩展文本,T·为CLIP文本编码器,θ为CLIP文本编码器对应的超参数,N为扩展文本数量,为拼接;将所述字幕输入文本编辑器中进行编码,获取编码后字幕特征的平均值,将编码后字幕特征的平均值作为字幕编码;具体表达式为: 其中,为第i个视频字幕编码特征,为第i个视频对应的第j个生成字幕,T·为CLIP文本编码器,θ为其对应的超参数,描述性文本编码和视频字幕编码共用同一套超参数;采用视觉编码器对视频进行编码,在最后的输出层取其第一个数据结构C1S_Token表示视频编码特征;具体表达式为: 其中,为第i个视频编码特征,F·为CLIP视频编码器,为其对应的超参数,Vi为第i个视频。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人宁夏大学,其通讯地址为:750021 宁夏回族自治区银川市西夏区贺兰山西路489号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。