龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：厦门大学
摘要：本发明公开了一种结合视觉‑语言预训练和提示学习的域泛化方法。所述方法基于一训练完成的多模态模型以及植入该模型的至少一个域提示生成器，所述多模态模型包括至少一个图像编码器、至少一个文本编码器；获取多域文本数据集及多域图像数据集，并利用模型从多域文本数据集提取每条文本数据对应的第一文本特征，以及，从多域图像数据集提取每张图像数据对应的第一图像特征；在图像编码器中嵌入可学习向量，并利用嵌入后的图像编码器提取多域图像数据集中每张图像数据对应的第二图像特征；将每张图像数据对应的第二图像特征输入域提示生成器，得到每个域对应的总体语言提示等。本发明能够提高模型在未见领域的准确性和效率，解决现有技术中存在的问题。
主权项：1.一种结合视觉-语言预训练和提示学习的域泛化方法，其特征在于，所述方法基于一训练完成的多模态模型以及植入该模型的至少一个域提示生成器，所述多模态模型包括至少一个图像编码器、至少一个文本编码器；获取多域文本数据集及多域图像数据集，并利用模型从多域文本数据集提取每条文本数据对应的第一文本特征，以及，从多域图像数据集提取每张图像数据对应的第一图像特征；在图像编码器中嵌入可学习向量，并利用嵌入后的图像编码器提取多域图像数据集中每张图像数据对应的第二图像特征；将每张图像数据对应的第二图像特征输入域提示生成器，得到每个域对应的总体语言提示；将多域文本数据集的域类别标签和总体语言提示结合后输入至文本编码器，得到每个域对应的第二文本特征；将第一图像特征与第二图像特征加权融合获得第三图像特征，基于第三图像特征与第一文本特征，计算视觉提示损失；将第一文本特征与第二文本特征加权融合获得第三文本特征，基于第三文本特征与第三图像特征，计算文本提示损失；基于视觉提示损失和文本提示损失，平衡域不变性与类别可分性。
全文数据：
权利要求：
百度查询： 厦门大学 一种结合视觉-语言预训练和提示学习的域泛化方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号