买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉成都数之联科技股份有限公司申请的专利一种基于双塔结构的多模态特征融合目标分类方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119397487B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510001260.9，技术领域涉及：G06F18/25；该发明授权一种基于双塔结构的多模态特征融合目标分类方法及系统是由请求不公布姓名设计研发完成，并于2025-01-02向国家知识产权局提交的专利申请。

本一种基于双塔结构的多模态特征融合目标分类方法及系统在说明书摘要公布了：本发明提供了一种基于双塔结构的多模态特征融合目标分类方法及系统，涉及目标识别技术领域，所述方法包括流程为：构建多模态的无监督数据集以及有监督数据集；对多模态的无监督数据集以及有监督数据集进行不同模态的数据特征提取；对双塔多模特征融合模型进行无监督训练以及有监督训练；采用双塔多模特征融合模型对目标对象进行多模态特征查询，并且基于相似度检索实现多模态目标分类。本发明通过构建双塔多模特征融合模型，使得多模态数据的数据特征的动态融合，以实现不同模态特征之间的互补，解决了单一模态数据表达能力不足、模态缺失导致模型不适配的问题。

本发明授权一种基于双塔结构的多模态特征融合目标分类方法及系统在权利要求书中公布了：1.一种基于双塔结构的多模态特征融合目标分类方法，其特征在于，所述方法包括以下流程： 获取多模态数据，并且基于多模态数据构建多模态的无监督数据集以及有监督数据集；所述多模态数据包括文本数据、图像数据以及信号数据； 无监督数据集和有监督数据集的训练样本表示为： ssu,i＝[M1,a,…,Mn,a；M1,b,…,Mn,b] 其中，M1,a,…,Mn,a；M1,b，…，Mn，b表示单个训练样本的目标对象a、b的多模态数据； 对多模态的无监督数据集以及有监督数据集进行不同模态的数据特征提取，以构建无监督特征训练集以及有监督特征训练集； 基于无监督特征训练集以及有监督特征训练集对双塔多模特征融合模型进行无监督训练以及有监督训练； 所述双塔多模特征融合模型包括特征输入层、特征映射层、特征归一化层、特征拼接层、特征融合层以及相似度计算层； 基于无监督特征训练集的数据特征对双塔多模特征融合模型进行无监督训练的流程如下： 将无监督训练集的数据特征输入双塔多模特征融合模型； 通过双塔多模特征融合模型对数据特征进行特征映射、归一化、特征拼接融合处理，以得到目标对象的多模特征； 通过双塔多模特征融合模型对目标对象的多模特征进行相似度计算，以得到目标对象之间的多模特征相似度，并且根据多模特征相似度构建交叉熵损失函数，通过交叉熵损失函数的迭代训练，以实现双塔多模特征融合模型的无监督训练； 在无监督特征训练中，根据多模特征相似度构建交叉熵损失函数的公式为： 其中，simia,b表示单个样本的两个目标对象之间的多模特征相似度； 基于有监督特征训练集的数据特征对无监督训练之后的双塔多模特征融合模型进行有监督训练的流程如下： 将有监督训练集的数据特征输入无监督训练之后的双塔多模特征融合模型； 通过双塔多模特征融合模型对数据特征进行特征映射、归一化、特征拼接融合处理，以得到目标对象的多模特征； 通过双塔多模特征融合模型对目标对象的多模特征进行相似度计算，以得到目标对象之间的多模特征相似度，并且根据多模特征相似度构建交叉熵损失函数，通过交叉熵损失函数的迭代训练，以实现双塔多模特征融合模型的有监督训练； 其中，在有监督特征训练中，根据多模特征相似度构建交叉熵损失函数的公式为： 其中，simia,b表示单个训练样本的两个目标对象a、b之间的多模特征相似度，如果目标对象a和目标对象b属于同一类别，则标记该训练样本ssu,i为True；反之，如果目标对象a和目标对象b不属于同一类别，则标记训练样本ssu,i为False，当训练样本ssu,i标记为True时，yi＝1，当训练样本ssu,i标记为False时，yi＝0； 采用无监督训练以及有监督训练之后的双塔多模特征融合模型对目标对象进行多模态特征查询，并且基于相似度检索实现多模态目标分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都数之联科技股份有限公司，其通讯地址为：610000 四川省成都市武侯区人民南路四段11号附1号1栋8层804、805号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。