买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京火山引擎科技有限公司申请的专利针对语言模型的性能评估的方法和装置、设备、介质和产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119358686B 。

龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411918595.9，技术领域涉及：G06N5/04；该发明授权针对语言模型的性能评估的方法和装置、设备、介质和产品是由张雪;李爽;孙阳;李阳;尹小明设计研发完成，并于2024-12-24向国家知识产权局提交的专利申请。

本针对语言模型的性能评估的方法和装置、设备、介质和产品在说明书摘要公布了：公开了针对语言模型的性能评估的方法和装置、设备、介质和产品，涉及数据处理技术、大模型技术、大语言模型技术领域。该方法包括针对每个问题，通过语言模型获取问题的多个预测答案，该多个预测答案各自具有不同的答案形式。该方法还包括获取针对问题的多个真值答案，该多个真值答案各自与不同的答案源相对应。该方法还包括基于多个预测答案与多个真值答案之间的比较，获取多个比较结果，该多个比较结果指示多个预测答案与多个真值答案之间的差异性。该方法还包括确定与多个比较结果相对应的多个比较得分，并且基于多个比较得分来确定语言模型的性能得分，该性能得分指示语言模型的问答性能。如此，能够改进性能评估的覆盖面，并且促进模型调优。

本发明授权针对语言模型的性能评估的方法和装置、设备、介质和产品在权利要求书中公布了：1.一种针对语言模型的性能评估的方法，包括：针对问题集中的每个问题，通过语言模型获取问题的多个预测答案，所述多个预测答案各自具有不同的答案形式，所述答案形式包括第一类型的结构化查询语言SQL语句、可视化统一资源定位符URL、第二类型的SQL语句、SQL执行结果、召回字段和URL执行结果；获取针对所述问题的多个真值答案，所述多个真值答案各自与不同的答案源相对应，所述答案源包括第一SQL源、可视化URL源、第二SQL源、SQL执行结果源、召回字段源和URL执行结果源；基于所述多个预测答案与所述多个真值答案之间的比较，获取多个比较结果，所述多个比较结果指示所述多个预测答案与所述多个真值答案之间的差异性；以及确定与所述多个比较结果相对应的多个比较得分，并且基于所述多个比较得分来确定所述语言模型的性能得分，所述性能得分指示所述语言模型的问答性能，其中针对所述问题的所述多个预测答案包括答案形式为所述第一类型的SQL语句的第一预测答案以及答案形式为所述可视化URL的第二预测答案，所述方法还包括：基于所述第一预测答案来确定针对所述问题的第三预测答案和第四预测答案，所述第三预测答案的答案形式为所述第二类型的SQL语句，并且所述第四预测答案的答案形式为所述SQL执行结果；以及基于所述第二预测答案来确定针对所述问题的第五预测答案和第六预测答案，所述第五预测答案的答案形式为所述召回字段，并且所述第六预测答案的答案形式为所述URL执行结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京火山引擎科技有限公司，其通讯地址为：100190 北京市海淀区紫金数码园4号楼13层1309；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。