买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜之江实验室申请的专利基于跨模态对齐和原型多样化的连续小样本图片分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119152294B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411645184.7，技术领域涉及：G06V10/764；该发明授权基于跨模态对齐和原型多样化的连续小样本图片分类方法是由李亚南;何林圃;林峰;王东辉设计研发完成，并于2024-11-18向国家知识产权局提交的专利申请。

本基于跨模态对齐和原型多样化的连续小样本图片分类方法在说明书摘要公布了：本发明公开了一种基于跨模态对齐和原型多样化的连续小样本图片分类方法，该方法包括：首先对输入图片添加视觉软提示提取图片特征，并将图片特征输入特征适配器获取优化后的图片特征，同时对类别标签添加文本软提示提取初步的类别文本原型；其次，将优化后的图片特征输入原型偏置器，对类别文本原型进行调整，从而获得融入视觉信息的类别文本原型；最后计算上述类别文本原型与图片特征之间的相似度，并将该输入图片预测为具有最大相似度的类别。本发明能够捕捉输入特异的视觉信息进行文本原型更正，有利于提升输入图片的分类精度；本发明实现方法简便、灵活，显著提高了新类别的预测精度，同时可以有效缓解模型在旧类别的灾难性遗忘现象。

本发明授权基于跨模态对齐和原型多样化的连续小样本图片分类方法在权利要求书中公布了：1.一种基于跨模态对齐和原型多样化的连续小样本图片分类方法，其特征在于，包括以下步骤：1构造多模态对齐网络以提取对齐的图片特征和类别文本原型；其中，所述多模态对齐网络包括视觉软提示、图片编码器、文本软提示、文本编码器和特征适配器；所述步骤1包括以下子步骤：1.1使用开源的预训练好的对比语言-图像预训练大模型对图片编码器和文本编码器进行初始化；1.2构造视觉软提示向量，将视觉软提示向量与输入图片进行拼接，以获取拼接后的特征向量，将拼接后的特征向量输入到图片编码器中，得到对应的图片特征；1.3将步骤1.2得到的图片特征输入到特征适配器中，得到适配的图片特征，适配的图片特征再与步骤1.2得到的图片特征进行线性组合，得到对齐的图片特征；1.4构造文本软提示向量，将文本软提示向量与类别标签进行拼接，以获取拼接后的类别文本向量，将拼接后的类别文本向量输入到文本编码器中，得到对应的类别标签特征，也被称为类别文本原型；2构造原型偏置器，将步骤1得到的对齐的图片特征输入到构造的原型偏置器中，得到类别原型的视觉偏置向量，采用类别原型的视觉偏置向量对步骤1得到的类别文本原型进行更正，以获取更正后的类别文本原型；3计算步骤1得到的对齐的图片特征与步骤2得到的更正后的所有类别文本原型之间的余弦相似度及其概率值；4使用当前任务的有标签训练数据进行迭代训练，训练过程中固定图片编码器和文本编码器的参数，基于步骤3得到的概率值计算交叉熵损失函数，以最小化交叉熵损失函数为优化目标，调整视觉软提示、文本软提示、特征适配器和原型偏置器中的参数，以获取训练好的视觉软提示、文本软提示、特征适配器和原型偏置器；5给定待测试图片，利用训练好的视觉软提示、文本软提示、特征适配器和原型偏置器以及图片编码器和文本编码器，重复步骤1-步骤3，计算该待测试图片与所有类别标签之间的概率值，选取最大概率值对应的类别标签，作为当前待测试图片的最终类别标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。