龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：江南大学
摘要：本发明涉及计算机视觉技术领域，尤其是指一种基于注意力和对比原型的小样本视觉提示微调方法、装置及计算机可读存储介质。本发明所述方法，在视觉自注意力模型中嵌入层和第一个注意力层之间连接提示模块，所述提示模块由多个连续嵌入组成，并在视觉自注意力模型的每个注意力层中分别增加前缀模块，利用前缀模块的键值对分别重组注意力层中多头自注意力的键值对；将注意力原型作为提示模块的初始化参数，冻结经过预训练的视觉自注意力模型的骨干网络参数，仅对提示模块和前缀模块的参数进行更新。本发明不仅降低了微调的参数量，减少了存储需求和算力需求，而且减轻了过拟合风险，保证了小样本任务的泛化性能。
主权项：1.一种基于注意力和对比原型的小样本视觉提示微调方法，其特征在于，包括：使用外部数据集对视觉自注意力模型进行预训练；将小样本数据集划分为支持集和查询集，并基于支持集利用数据增强生成伪查询集；将支持集输入经过预训练的视觉自注意力模型，得到注意力原型；冻结经过预训练的视觉自注意力模型的参数，在经过预训练的视觉自注意力模型中嵌入层和第一个注意力层之间连接提示模块，所述提示模块由p个维度为d的连续嵌入组成，并将注意力原型作为提示模块的初始化参数；在经过预训练的视觉自注意力模型的每个注意力层中分别增加前缀模块，所述前缀模块的参数包括一个键值对；利用前缀模块的键和值分别重组注意力层中多头自注意力的键和值，形成小样本分类任务的键值对；将支持集和伪查询集分别输入视觉自注意力模型的嵌入层，再将嵌入层的输出与提示模块输入重组键值对后的多个注意力层，分别得到支持集和伪查询集的特征；计算支持集的原型，并根据支持集的原型与伪查询集的特征之间的相似度计算伪查询集中图像的预测分类；根据伪查询集中图像的预测分类和真实标签计算原型损失，根据支持集和伪查询集的特征计算有监督对比损失，构建对比原型损失，使用梯度下降迭代更新提示模块和前缀模块的参数；使用查询集对提示模块和前缀模块的参数完成迭代更新后的视觉自注意力模型进行验证，保存提示模块和前缀模块的参数，得到训练后的视觉自注意力模型。
全文数据：
权利要求：
百度查询： 江南大学 一种基于注意力和对比原型的小样本视觉提示微调方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号