买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司
摘要:本发明公开了一种评测模型的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:确定各领域的资源的使用占比率;对于每一领域,获取与所述领域的资源的使用占比率对应的高频话术,将获取的各领域的话术组成测试集;利用所述测试集评测预训练的模型。该实施方式构造的测试集能够体现应用场景的特点,该测试集中的数据分布符合应用场景中实际处理的数据分布规律,通过该测试集对模型进行评测可以更准确的确定模型的准确率,从而对模型进行优化。
主权项:1.一种评测模型的方法,其特征在于,包括:确定各领域的资源的使用占比率;对于每一领域,获取与所述领域的资源的使用占比率对应的高频话术,将获取的各领域的话术组成测试集;利用所述测试集评测预训练的模型,包括:利用所述测试集得到预训练模型的处理结果,所述处理结果包括所述预训练的模型预测的每条话术所属的领域、每条话术的目的以及每条话术的关键字;确定所述处理结果与所述测试集的比对结果,所述比对结果包括:领域精准率、领域召回率、目的精准率、目的召回率、关键字精准率和关键字召回率;根据领域精准率和领域召回率,确定领域F1值;根据目的精准率和目的召回率,确定目的F1值;根据关键字精准率和关键字召回率,确定关键字F1值;根据所述领域F1值、目的F1值和关键字F1值,评测所述预训练的模型。
全文数据:
权利要求:
百度查询: 北京沃东天骏信息技术有限公司 北京京东世纪贸易有限公司 一种评测模型的方法和装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。