买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明公开一种利用视觉令牌提前撤出来加速多模态大语言模型推理的方法，包括a.通过在目标数据集的子集上进行策略搜索以确定提前撤出视觉令牌的撤出层K；b.根据确定的撤出层K，循环进行——在多模态大语言模型的第1层到第K‑1层进行正常的前向推理；在第K层去除所有视觉令牌；在多模态大语言模型的第K层到第N层进行无视觉令牌参与的前向推理；计算多模态大语言模型分类头的预测分布，根据当前的预测分布确定下一个令牌，然后将该令牌拼接到上一次预测的输入令牌之后：返回第一步，直到多模态大语言模型预测产生停止符。本发明能够避免重要性评价指标的设计，灵活应对、回答不同的问题，并实现与KV缓存技术的兼容。

主权项：1.一种利用视觉令牌提前撤出来加速多模态大语言模型推理的方法，多模态大语言模型的输入由系统令牌、视觉令牌、指令令牌和输出令牌组成，其特征在于包括：通过在目标数据集的子集上进行策略搜索以确定提前撤出视觉令牌的撤出层K，其具体步骤如下：a1.从目标数据集中随机抽取出20个样本组成数据子集；a2.使用多模态大语言模型处理数据子集，并保留多模态大语言模型分类头对每个样本的预测分布；a3.定义N为多模态大语言模型的层数，遍历K＝{5,6,7,…,N}执行以下步骤：a3-1.在多模态大语言模型的第1层到第K-1层进行正常的前向推理；a3-2.在第K层去除所有视觉令牌；a3-3.在多模态大语言模型的第K层到第N层进行只有系统令牌、指令令牌和输出令牌参与的前向推理；a3-4.计算多模态大语言模型第K层去除视觉令牌推理得到的预测分布和多模态大语言模型正常推理得到的预测分布的Kullback-Leibler散度，Kullback-Leibler散度对数据子集的20个样本取平均值，如果平均后的Kullback-Leibler散度小于预设的阈值则跳出循环，并把当前的K作为视觉令牌提前撤出的层数；在确定提前撤出视觉令牌的撤出层K后，利用视觉令牌提前撤出来加速多模态大语言模型推理的具体步骤如下：b1.在多模态大语言模型的第1层到第K-1层进行正常的前向推理；b2.在第K层去除所有视觉令牌；b3.在多模态大语言模型的第K层到第N层进行只有系统令牌、指令令牌和输出令牌参与的前向推理；b4.计算多模态大语言模型第K层去除视觉令牌后得到的预测分布，根据当前的预测分布确定下一个令牌，然后将该令牌拼接到上一次预测的输入令牌之后；b5.返回b1，直到多模态大语言模型预测产生停止符。

全文数据：

权利要求：

百度查询： 厦门大学 利用视觉令牌提前撤出来加速多模态大语言模型推理的方法