龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国科学院自动化研究所
摘要：本发明提供一种基于高斯判别分析的多模态模型微调方法及装置，方法包括：获取训练图像，其中，训练图像包括对应的类别标签；通过视觉编码器对训练图像进行编码处理，得到训练图像的视觉特征；基于视觉特征确定每个类别标签的类别均值向量，并根据类别均值向量确定对应类别标签的协方差逆矩阵；对协方差逆矩阵进行高斯判别分析处理，得到视觉编码器对应的视觉分类器；将视觉分类器与文本编码器对应的文本分类器进行加权集成，得到多模态模型的最终分类器，其中，最终分类器用于识别多个类别标签。通过本申请，能够在无须训练多模态模型的情况下，提高多模态模型在下游任务上的性能。
主权项：1.一种基于高斯判别分析的多模态模型微调方法，其特征在于，所述多模态模型包括视觉编码器和文本编码器，所述方法包括：获取训练图像，其中，所述训练图像包括多个类别标签；通过所述视觉编码器对所述训练图像进行编码处理，得到所述训练图像的视觉特征；基于所述视觉特征确定每个类别标签的类别均值向量，并根据所述类别均值向量确定所述类别标签的协方差逆矩阵；对所述协方差逆矩阵进行高斯判别分析处理，得到所述视觉编码器对应的视觉分类器；将所述视觉分类器与所述文本编码器对应的文本分类器进行加权集成，得到所述多模态模型的最终分类器，其中，所述最终分类器用于识别所述多个类别标签。
全文数据：
权利要求：
百度查询： 中国科学院自动化研究所 基于高斯判别分析的多模态模型微调方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号