买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:广州视源电子科技股份有限公司
摘要:本发明公开了一种语句生成模型的训练方法、语句生成方法、装置、设备及介质。本发明实施例提供的语句生成模型训练方法,通过计算高概率矩阵中K列数值对应的K条语句与参考语句的交叉熵损失之和作为第一损失值,计算低概率矩阵对应的多条语句中任意一条语句与参考语句的交叉熵损失作为第二损失值,基于多条语句样本的第一损失值和第二损失值之和更新第一语句生成模型的参数,能够加快损失值的下降速率,进而使得模型在应用时生成的语句更通顺,避免单词重复生成的问题。
主权项:1.一种语句生成模型的训练方法,其特征在于,包括:获取训练集,所述训练集包括多条语句样本,所述语句样本标注有参考语句;将所述语句样本输入待训练的第一语句生成模型中进行处理,得到待生成的语句中各符号在词表中的第一概率分布,所述第一语句生成模型为非自回归模型;计算高概率矩阵中K列数值对应的K条语句与所述参考语句的交叉熵损失之和作为第一损失值,所述高概率矩阵为各所述第一概率分布中概率值最大的前K个概率值形成的矩阵;计算低概率矩阵对应的多条语句中任意一条语句与所述参考语句的交叉熵损失作为第二损失值,所述低概率矩阵为各所述第一概率分布中概率值最大的前K个以外的概率值形成的矩阵;基于多条语句样本的所述第一损失值和所述第二损失值之和更新所述第一语句生成模型的参数。
全文数据:
权利要求:
百度查询: 广州视源电子科技股份有限公司 一种语句生成模型的训练方法、语句生成方法、装置、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。