买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京搜狗科技发展有限公司

摘要：本发明实施例提供了一种模型测试方法、装置和用于模型测试的装置。其中的方法包括：根据目标模型对应预置语义维度的功能，生成所述目标模型对应预置语义维度的测试数据，所述预置语义维度包括近义词维度、反义词维度、健壮性维度、命名实体维度、时序关系维度、否定词维度、指代关系维度、语序关系维度中的任意一项或多项；利用所述目标模型对应预置语义维度的测试数据对所述目标模型进行测试，得到所述目标模型对应预置语义维度的测试结果。本发明实施例可以更系统、更全面、更准确地评价目标模型的能力。

主权项：1.一种模型测试方法，其特征在于，所述方法包括：根据目标模型对应预置语义维度的功能，生成所述目标模型对应预置语义维度的测试数据，所述预置语义维度包括近义词维度、反义词维度、健壮性维度、命名实体维度、时序关系维度、否定词维度、指代关系维度、语序关系维度中的任意一项或多项；利用所述目标模型对应预置语义维度的测试数据对所述目标模型进行测试，得到所述目标模型对应预置语义维度的测试结果；其中，所述根据目标模型对应预置语义维度的功能，生成所述目标模型对应预置语义维度的测试数据，包括：根据目标模型对应预置语义维度的功能，确定所述预置语义维度对应的测试方法，所述测试方法包括基础测试、不变性测试、规定方向性测试中的至少一种；所述基础测试是指通过指定的模板文本生成文本对，将生成的文本对作为测试数据测试目标模型在预置语义维度上的语义理解能力；所述不变性测试是指对收集的历史文本按照预设规则进行变换，得到变换后的文本，使得变换后的文本语义不变，将原始的历史文本和变换后的文本组成的文本对作为测试数据测试目标模型在预置语义维度上的语义理解能力；所述规定方向性测试是指对收集的历史文本按照预设规则进行变换，得到变换后的文本，使得变换后的文本的语义符合预期方向，将原始的历史文本和变换后的文本组成的文本对作为测试数据测试目标模型在预置语义维度上的语义理解能力；基于给定的模板文本，根据所述预置语义维度确定具有预设语义关系的两个填充词，并利用所述两个填充词对所述模板文本分别进行槽位填充，得到所述预置语义维度对应基础测试的测试数据；基于给定的目标文本，对所述目标文本按照所述预置语义维度对应的第一变换规则进行变换，使得变换后的文本语义不变，得到所述预置语义维度对应不变性测试的测试数据；基于给定的目标文本，对所述目标文本按照所述预置语义维度对应的第二变换规则进行变换，使得变换后的文本语义符合预期方向，得到所述预置语义维度对应规定方向性测试的测试数据。

全文数据：

权利要求：

百度查询： 北京搜狗科技发展有限公司 一种模型测试方法、装置和用于模型测试的装置