龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
申请/专利权人：腾讯科技(深圳)有限公司
申请日：2024-04-19
公开（公告）日：2024-06-28
公开（公告）号：CN118070775B
主分类号：G06F40/194
分类号：G06F40/194;G06F40/30;G06F18/214;G06F18/22
优先权：
专利状态码：有效-授权
法律状态：2024.06.28#授权;2024.06.11#实质审查的生效;2024.05.24#公开
摘要：本公开涉及一种摘要生成模型的性能评测方法、装置、计算机设备。方法包括：获取对多种模型结构分别在至少一个训练数据量级下训练得到的摘要生成模型；通过相同训练数据量级下训练得到至少两个摘要生成模型，分别基于相同的评测文本，生成与至少两个摘要生成模型对应的至少两个摘要；通过比对模型，并基于评测文本和至少两个摘要，生成至少两个摘要分别对应的剧情匹配性标签；基于剧情匹配性标签，确定在相同训练数据量级下训练得到的摘要生成模型的评测指标值；根据至少一个训练数据量级下训练得到的多个摘要生成模型的评测指标值，评测至少一个训练数据量级下训练得到的摘要生成模型的性能。采用本方法能够准确的比较不同模型的摘要生成能力。
主权项：1.一种摘要生成模型的性能评测方法，其特征在于，所述方法包括：获取对多种模型结构分别在至少一个训练数据量级下训练得到的摘要生成模型，相同训练数据量级下训练得到的至少两个摘要生成模型的模型结构不同；通过相同训练数据量级下训练得到至少两个摘要生成模型，分别基于相同的评测文本，生成与所述至少两个摘要生成模型对应的至少两个摘要；通过预训练的比对模型，并基于所述评测文本和所述至少两个摘要，生成所述至少两个摘要分别对应的剧情匹配性标签，所述剧情匹配性标签表征对应的摘要是否与所述评测文本中剧情内容相匹配；所述比对模型，是基于模型训练文本、描述所述模型训练文本中剧情内容的剧情描述信息和匹配训练标签，对添加低秩自适应结构后的待训练大语言模型进行训练得到的；所述匹配训练标签表征所述剧情描述信息和所述模型训练文本相匹配；基于所述至少两个摘要分别对应的剧情匹配性标签，确定在相同训练数据量级下训练得到的每个摘要生成模型的评测指标值；根据所述至少一个训练数据量级下训练得到的多个摘要生成模型的评测指标值，评测所述至少一个训练数据量级下训练得到的摘要生成模型的性能。
全文数据：
权利要求：
百度查询： 腾讯科技(深圳)有限公司 摘要生成模型的性能评测方法、装置、计算机设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号