龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：厦门美图之家科技有限公司
申请日：2024-03-07
公开（公告）日：2024-06-21
公开（公告）号：CN118230329A
主分类号：G06V30/146
分类号：G06V30/146;G06V30/18;G06V30/19
优先权：
专利状态码：在审-公开
法律状态：2024.06.21#公开
摘要：本发明提供了一种基于自适应多模态prompt的开放词汇目标检测方法、系统、设备及存储介质，包括：通过预训练图像‑文本对预训练文本编码器和图像编码器；将文本编码器的prompt描述Pc设计成类别名放置于可学习参数中间，获得自适应文本prompt并由其线性映射获得自适应图像prompt；将自适应文本prompt和自适应图像prompt输入文本编码器和图像编码器中，获得类别文本特征Ft和图像特征Fv；基于自注意力和交叉注意力机制，计算类别文本特征Ft和图像特征Fv的相似性，输出检测结果。本发明能够训练开放词汇目标检测模型由浅入深的学习多模态数据的上下文信息，增强文本‑图像多模态分支共享特征空间的能力。
主权项：1.一种基于自适应多模态prompt的开放词汇目标检测方法，其特征在于，所述方法包括以下步骤：S1、通过视觉文本编码器对噪声图像-文本对进行过滤处理，获得预训练图像-文本对；S2、基于所述预训练图像-文本对预训练文本编码器和预训练图像编码器，获得训练好的文本编码器和图像编码器；S3、将所述文本编码器的prompt描述Pc设计成类别名放置于可学习参数中间，进而获得自适应文本prompt，由所述自适应文本prompt线性映射获得自适应图像prompt；S4、将所述自适应文本prompt和所述自适应图像prompt分别输入至步骤S2中训练好的所述文本编码器和图像编码器中，获得类别文本特征Ft和图像特征Fv；S5、基于自注意力和交叉注意力机制，计算所述类别文本特征Ft和所述图像特征Fv的相似性，最终输出检测结果。
全文数据：
权利要求：
百度查询： 厦门美图之家科技有限公司 一种开放词汇目标检测方法、系统、设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号