首页 专利交易 科技果 科技人才 科技服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

多模态联合学习方法、装置、设备、可读存储介质及产品 

申请/专利权人:中移信息技术有限公司;中国移动通信集团有限公司

申请日:2024-03-25

公开(公告)日:2024-06-28

公开(公告)号:CN118261224A

主分类号:G06N3/08

分类号:G06N3/08;G06N3/045;G06F18/25;G06F18/214

优先权:

专利状态码:在审-公开

法律状态:2024.06.28#公开

摘要:本申请公开了一种多模态联合学习方法、装置、设备、可读存储介质及产品,涉及计算机技术领域,包括:获取训练数据与待训练的多模态学习模型,其中,所述多模态学习模型包括融合网络与任务网络;获取所述训练数据中每一种单模态数据对应的字节序列,将每一所述字节序列输入至所述多模态学习模型中,通过所述融合网络确定所有所述字节序列对应的融合嵌入向量;通过任务网络确定所述融合嵌入向量对应的处理结果,基于所述处理结果调整所述融合网络与所述任务网络的网络参数,返回执行将每一所述字节序列输入至所述多模态学习模型的步骤,直至满足预设的迭代终止条件。本申请降低了实现多模态联合学习所需的计算机系统资源耗费。

主权项:1.一种多模态联合学习方法,其特征在于,所述多模态联合学习方法包括以下步骤:获取训练数据与待训练的多模态学习模型,其中,所述训练数据包括多种单模态数据,所述多模态学习模型包括融合网络与任务网络;获取所述训练数据中每一种单模态数据对应的字节序列,将每一所述字节序列输入至所述多模态学习模型中,通过所述融合网络确定所有所述字节序列对应的融合嵌入向量;通过任务网络确定所述融合嵌入向量对应的处理结果,基于所述处理结果调整所述融合网络与所述任务网络的网络参数,返回执行将每一所述字节序列输入至所述多模态学习模型的步骤,直至满足预设的迭代终止条件,得到训练完成的多模态学习模型。

全文数据:

权利要求:

百度查询: 中移信息技术有限公司;中国移动通信集团有限公司 多模态联合学习方法、装置、设备、可读存储介质及产品

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。