买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中山大学申请的专利一种基于自协调对比学习的五模态商品预训练方法及检索系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114418032B 。

龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210164795.4，技术领域涉及：G06F18/214；该发明授权一种基于自协调对比学习的五模态商品预训练方法及检索系统是由董晓;詹巽霖;吴洋鑫;梁小丹设计研发完成，并于2022-02-22向国家知识产权局提交的专利申请。

本一种基于自协调对比学习的五模态商品预训练方法及检索系统在说明书摘要公布了：本发明公开了一种基于自协调对比学习的五模态商品预训练方法及检索系统，其中方法如下：S1：根据不同模态数据构建相应的模态特征编码提取器；S2：结合模态特征编码提取器提取的各个模态数据的特征编码、位置编码和分段编码，学习不同模态数据的嵌入表示；S3：构建自协调对比学习的多模态预训练模型；S4：将带有遮挡部分特征的不同模态数据利用模态特征编码提取器，学习得到嵌入表示输入到步骤S3的多模态预训练模型进行自监督训练，将各个模态数据进行高层语义融合，并使用自协调对比学习方法不断纠正模态间的关联性，在学习过程中恢复出所对应位置的特征。本发明实现具有高泛化性、高可用性，高准确性的组合商品检索系统。

本发明授权一种基于自协调对比学习的五模态商品预训练方法及检索系统在权利要求书中公布了：1.一种基于自协调对比学习的五模态商品预训练方法，其特征在于：所述的方法基于检索系统实现，所述系统包括： 模态特征编码提取器，用于提取的各个模态数据的特征编码、位置编码和分段编码，并学习不同模态数据的嵌入表示； 多模态预训练模型模块，用于实现自监督训练，将各个模态数据进行高层语义融合，并使用自协调对比学习方法不断纠正模态间的关联性，在学习过程中恢复出所对应位置的特征； 所述的方法包括步骤如下： S1：根据商品样本数据的不同模态数据构建相应的模态特征编码提取器；所述的模态数据包括图像、文本、表格、视频、音频五种模态数据； 使用bottom-up-attention网络作为模态特征编码提取器获得图像的边界框及其坐标位置的特征； 使用word-piece作为模态特征编码提取器获得文本的不同token间的关系特征； 使用实体word-piece作为模态特征编码提取器获得表格模态数据的编码表示，具体将每一行数据拼接在一起后，获取不同token间的关系特征； 使用S3D网络作为模态特征编码提取器获得视频中具有时空特性的视频表示； 使用MFCC作为模态特征编码提取器获得音频模态数据的编码表示； S2：结合模态特征编码提取器提取的各个模态数据的特征编码、位置编码和分段编码，学习不同模态数据的嵌入表示； S3：构建自协调对比学习的多模态预训练模型；所述的多模态预训练模型包括 对于每种模态数据分别构建不同模态数据间的Transformer对比学习模块，用于学习不同模态数据间的语义对齐； 获取语义对齐的公共多头自注意力网络，用于提取五种模态数据间全面融合的检索特征，其中所述的公共多头自注意力网络的输入长度是每种模态数据堆叠的特征长度； S4：将带有遮挡部分特征的不同模态数据利用模态特征编码提取器，学习得到嵌入表示输入到步骤S3的多模态预训练模型进行自监督训练，将各个模态数据进行高层语义融合，并使用自协调对比学习方法不断纠正模态间的关联性，在学习过程中恢复出所对应位置的特征； 对于待需查询的商品样本数据，先通过步骤S1、S2处理后，再输入步骤S4训练好的多模态预训练模型，分别提取每种模态信息单独的的检索特征、和全部或部分模态融合后的模态特征，计算商品所查询特征与单品特征相似度，选取最相近的单品作为结果返回。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。