买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明提供了一种基于自主指令生成调优的多模态推理模型自进化方法，涉及语言图像多模态融合领域，通过计算图像指令对应得分，增强了指令微调数据与图像之间的内容相关性，通过对比学习的框架，进一步提升了多模态推理模型的指令微调数据生成能力。本发明有效地提高了多模态推理模型生成数据的质量，通过进一步利用该数据微调多模态推理模型自身，实现了多模态推理模型的自进化。

主权项：1.一种基于自主指令生成调优的多模态推理模型自进化方法，其特征在于包括下述步骤：步骤1：给定一张图片其中W×H×3表示图片的尺寸，表示实数集，指令微调数据表示为[Qj，Aj]，j∈{1，2，...，Nj}其中Qj和Aj分别表示关于图片Ii的第j个问题和答案，Nj表示对应于图片Ii的指令微调数据的个数；首先利用多模态推理模型生成初始的指令微调数据，由于语言先验知识的影响，初始数据集包含与图像内容关联性较低的数据样本；接下来，对于初始的指令微调数据集中任意给定的数据样本[Qj，Aj]，将Qj和相应的图像作为模型的输入，在获得模型输出之后，计算每个答案标记Aj中的输出的概率值其中t表示模型输出的第t个时刻的文本标记，v表示给定图像作为模型输入；然后，在得到每个时刻答案标记的概率值后，将率值按照时间维度连接起来，得到视觉答案得分SA|V，SA|V得分衡量了多模态推理模型对给定图像的前提下对特定指令微调数据的响应；在不给模型图像的前提下，计算模型输出的概率值其中t表示模型输出的第t个时刻的文本标记，d表示不将图像作为模型的输入，而只将Qj作为模型的输入，并获得模型的输出；并将获得的答案得分称之为直接答案得分SA，SA得分量化了模型对给定指令微调数据在没有图像的情况下的响应，最终得分SI2C通过使用KL散度进行计算；在获取了所有初始指令微调数据样本的SI2C得分之后，将所有指令微调数据样本按照SI2C的值大小进行排序，并使用SI2C较高的10％的数据样本作为真实标签对模型进行训练，训练过程中使用交叉熵损失Lr；步骤2：引入一个额外的对比学习模块，使模型能够从初始指令微调数据集中的低质量数据样本中学习经验；遵循对比学习框架，通过最大化锚点和正伪标签之间的相似度，同时最小化锚点和负伪标签之间的相似度；类似地，选择与图像Ii对应的其余数据样本S表示与图像Ii对应的数据样本集合，并将其余数据样本作为负伪标签，计算表示以负伪标签作为输入计算得到的潜向量，然后，将一条指令与图像Ii一起输入到模型中，并获得锚点数据y，并计算对比损失；经过利用指令微调数据和初始数据集中的低质量样本进行训练后，使用增强的多模态推理模型生成最终的微调数据。

全文数据：

权利要求：

百度查询： 西北工业大学 一种基于自主指令生成调优的多模态推理模型自进化方法