龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：北京工业大学
申请日：2024-03-14
公开（公告）日：2024-06-18
公开（公告）号：CN118211093A
主分类号：G06F18/2323
分类号：G06F18/2323;G06F18/22;G06N3/0455;G06N3/0895
优先权：
专利状态码：在审-公开
法律状态：2024.06.18#公开
摘要：本发明公开一种基于生成图结构匹配的混合模态聚类方法及装置，利用自编码器模块将混合模态数据投影到不同的特征空间，计算不同模态数据的特征矩阵；建立不同模态特征空间之间的双向映射，生成缺失模态的伪表示；构建同一模态中现有表示和伪表示之间的模态内二分图，指导缺失模态数据的特征表示生成，获得数据完整的模态信息；在此基础上为每个模态构建一个单独的图，通过执行图卷积运算捕获样本之间的全局结构，采用图匹配机制，实现异质模态特征对齐；因此能够在没有成对模态数据的情况下生成缺失模态信息，对齐异质模态数据特征，将缺失模态生成和异质模态对齐整合到统一的框架中，有效挖掘混合模态数据之间的内在相关性，取得更好的聚类结果。
主权项：1.基于生成图结构匹配的混合模态聚类方法，其特征在于：该方法包括以下步骤：1输入混合模态数据；2利用自编码器网络，将一种模态视为原始空间，另一种模态视为潜在空间，建立不同模态特征空间之间的双向映射，以生成缺失模态的伪表示，从混合模态数据中初始构建完整的多模态数据；3在获取现有模态数据的初始潜在表示和缺失模态数据伪表示之后，计算它们之间的相关性构建模态内二分图，利用模态内邻居样本的特征生成缺失模态表示，在模态内二分图的指导下，通过加权聚合中相邻样本的特征更新缺失模态表示；4将每个模态数据建模为一个图，通过图中节点之间的消息传递机制，放大簇内数据表示的相似性，对于每个样本，根据相似性矩阵选择相似度最高的样本作为其邻居，构建相应的模态内图；5通过模态间图匹配学习两个模态特定图之间的双向匹配关系，实现不同模态之间的信息交互，对齐异质模态分布；6步骤5输出的更新后的模态特定表示输入到步骤4，以更新每个模态的图结构，步骤4进行模态内样本的特征交互，而步骤5进行模态之间的信息交互，重复这两个步骤来捕捉模态之间的高级相关性，以获得最佳的统一表示；7通过跨模态对比学习策略，约束同一样本的两个模态的表示彼此相近。
全文数据：
权利要求：
百度查询： 北京工业大学 基于生成图结构匹配的混合模态聚类方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号