买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京师范大学

摘要：本发明公开的一种用于视觉基础模型的多维度评测方法，属于计算机视觉领域。本发明实现方法为：构建用于评测视觉基础模型的多维度指标体系，包括多维度视觉能力体系和多类别视觉任务体系两部分。构建多维度视觉能力体系与多类别视觉任务体系的映射关系。获取待评测视觉基础模型并选取评测的视觉能力维度，确定与能力维度对应的视觉任务。为每种任务构建包含视觉基础模型和任务预测头的评测网络，微调训练并测试评测网络，得到当前任务的性能指标。遍历确定的视觉任务，对每种视觉任务分别执行评测网络构建、微调训练和性能测试，得到所有视觉任务的性能指标，根据得到的性能指标计算视觉基础模型的视觉能力指标，实现视觉基础模型的多维度评测。

主权项：1.一种用于视觉基础模型的多维度评测方法，其特征在于：包括如下步骤，步骤一：针对视觉基础模型的特点，构建用于评测视觉基础模型的多维度指标体系；所述多维度指标体系包括多维度视觉能力体系和多类别视觉任务体系两部分；所述多维度视觉能力体系由视觉局部感知能力维度、视觉全局感知能力维度、视觉类比能力维度、视觉归纳能力维度和视觉推理能力维度共五种视觉能力维度组成；所述多类别视觉任务体系由物体检测任务、语义分割任务、实例分割任务、图像分类任务、深度估计任务、图像检索任务、半监督图像分类任务和小样本图像分类任务共八种视觉任务组成；根据所述多类别视觉任务体系构建用于视觉基础模型多维度能力评测的多类别视觉任务集成系统；所述多类别视觉任务集成系统包含八种视觉任务对应的任务预测头和八种视觉任务对应的性能指标计算方法；步骤二：构建步骤一所述多维度视觉能力体系与步骤一所述多类别视觉任务体系的映射关系；视觉局部感知能力维度与物体检测任务、语义分割任务和实例分割任务对应；视觉全局感知能力维度与图像分类任务和深度估计任务对应；视觉类比能力维度与图像检索任务对应；视觉归纳能力维度与半监督图像分类任务对应；视觉推理能力维度与小样本图像分类任务对应；步骤三：获取待评测视觉基础模型；针对待评测视觉基础模型，从步骤一的五种视觉能力维度中选取一个或多个视觉能力维度作为需要评测的视觉能力维度；将选取的视觉能力维度依次编号为；根据步骤二构建的映射关系，确定与选取的视觉能力维度对应的视觉任务；选取步骤一多类别视觉任务集成系统中与所选取的视觉任务对应的任务预测头；随机初始化选取的任务预测头的参数权重；将选取的任务预测头依次编号为；第个任务对应第个任务预测头；步骤四：使用步骤三待评测视觉基础模型和步骤三第个任务预测头构建用于评测所述待评测视觉基础模型的评测网络；获取第个任务的视觉训练数据集；使用视觉训练数据集对评测网络进行微调训练，得到微调后的评测网络；步骤五：获取第个任务的视觉评测数据集；第个任务的视觉评测数据集包括图像和任务标注；将视觉评测数据集的图像输入步骤四微调后的评测网络中的视觉基础模型，得到视觉评测数据集的图像对应的特征图；将特征图输入评测网络中的第个任务预测头，得到第个任务的任务预测结果；对比第个任务的任务预测结果与视觉评测数据集中第个任务的任务标注，根据步骤一视觉任务对应的性能指标计算方法计算第个任务的性能指标；步骤六：从1到依次遍历步骤三选取的任务预测头，对每个任务预测头执行步骤四和步骤五，得到步骤三确定的个视觉任务的性能指标；步骤七：根据步骤六中得到的个视觉任务的性能指标，结合步骤二构建的多维度视觉能力体系与多类别视觉任务体系的映射关系，确定步骤三编号为的视觉能力维度对应的个视觉任务的性能指标为；使用式1定义的视觉能力指标计算方法计算视觉基础模型在编号为的视觉能力维度的视觉能力指标，将从1到遍历，得到个视觉能力指标，实现视觉基础模型的多维度定量评测； 在式1中，表示视觉任务的数量；表示第个任务；表示第个任务的性能指标；和分别表示第个任务性能指标的理论最差值和理论最优值；将深度估计任务的设置为1。

全文数据：

权利要求：

百度查询： 北京师范大学 一种用于视觉基础模型的多维度评测方法