买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳市九天睿芯科技有限公司

摘要：本申请公开了一种多模态大模型训练方法、机器人动作预测方法及处理装置。在训练多模态大模型的时候，将第一事件相机的第一事件数据、第一RGB相机的第一图像数据及第一文字指令分别编码处理，提取出同一预设长度的第一事件帧特征向量、第一图像特征向量及文本特征向量，从而将第一事件数据、第一图像数据及第一文字指令映射到同一高维空间，为后续多模态融合提供基础，可支持多模态输入。在机器人动作预测的时候，由于结合事件相机和多模态大模型的优势，令机器人具备在复杂场景（高速运动，光照条件差）下更强的感知能力，同时利用大模型的强大背景知识，使得机器人可以具备更加灵活合理的决策能力。

主权项：1.一种用于机器人动作预测的多模态大模型训练方法，其特征在于，所述多模态大模型包括事件编码模块、图像编码模块、文字指令编码模块和特征融合编码模块，所述事件编码模块、图像编码模块、文字指令编码模块均与所述特征融合编码模块连接；所述用于机器人动作预测的多模态大模型训练方法包括：获取第一事件相机的第一事件数据、第一RGB相机的第一图像数据及第一文字指令；通过所述事件编码模块将获取的所述第一事件数据进行编码处理，获得预设长度的第一事件帧特征向量；通过图像编码模块将获取的所述第一图像数据进行编码处理，获得所述预设长度的第一图像特征向量；通过文字指令编码模块将获取的所述第一文字指令进行编码处理，获得所述预设长度的文本特征向量；拼接所述第一事件帧特征向量和所述第一图像特征向量，以获得视觉特征向量；在所述特征融合编码模块的交叉注意力结构和自注意力结构中，将所述视觉特征向量与所述文本特征向量进行特征融合及迭代训练，直至融合后的特征向量与机器人的动作样本之间的第一差异小于第一阈值，以得到多模态大模型；所述用于机器人动作预测的多模态大模型训练方法还包括获得所述事件编码模块，所述获得事件编码模块，包括：将获取的第二事件数据压缩为事件帧的格式；利用对比学习机制，对获取的第二图像数据进行编码，获得第二图像特征向量，对所述事件帧进行编码，获得第二事件特征向量；利用所述第二图像特征向量及所述第二事件特征向量训练获得所述事件编码模块；所述利用所述第二图像特征向量及所述第二事件特征向量训练获得所述事件编码模块，包括：对所述第二图像特征向量和第二事件特征向量分别进行归一化处理，获得归一化图像向量和归一化事件向量；将所述归一化图像向量和所述归一化事件向量做矩阵乘法，获得余弦相似度矩阵；在所述余弦相似度矩阵的横向，计算所述归一化图像向量相对于所述归一化事件向量的第一softmax结果，以及在所述余弦相似度矩阵的纵向，计算所述归一化事件向量相对于所述归一化图像向量的第二softmax结果，并基于所述第一softmax结果和所述第二softmax结果，获得概率相似度矩阵；在所述概率相似度矩阵中计算横向损失值和纵向损失值，以获得第二损失函数值，直至所述第二损失函数值与图像样本之间的第二差异小于第二阈值，获得所述事件编码模块。

全文数据：

权利要求：

百度查询： 深圳市九天睿芯科技有限公司 多模态大模型训练方法、机器人动作预测方法及处理装置