买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国移动通信集团有限公司研究院;清华大学申请的专利一种模型训练方法、装置及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116910205B 。

龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310752628.6，技术领域涉及：G06F16/3329；该发明授权一种模型训练方法、装置及系统是由黄毅;欧智坚;冯俊兰;蔡予诚;刘红;金镝设计研发完成，并于2023-06-25向国家知识产权局提交的专利申请。

本一种模型训练方法、装置及系统在说明书摘要公布了：本发明提供了模型训练方法、装置及系统，所述方法包括构建待训练的对话模型，待训练的对话模型包括生成模型、推断模型和检索模型；基于有标注的第一数据对待训练的对话模型中的推断模型和检索模型进行有监督的预训练，预训练后的推断模型用于根据第一数据中的用户输入数据和系统回复数据得到隐变量数据，预训练后的检索模型用于根据第一数据中的用户输入数据从数据库中检索得到查询结果；基于第一数据和无标注的第二数据形成的训练样本，对预训练后的对话模型进行半监督训练，得到训练好的对话模型，训练好的对话模型中生成模型用于生成对话动作数据和系统回复数据。提升了任务型对话任务中模型对于知识的结合能力，更加适用于知识型的任务。

本发明授权一种模型训练方法、装置及系统在权利要求书中公布了：1.一种模型训练方法，其特征在于，所述方法包括：构建待训练的对话模型，所述待训练的对话模型包括生成模型、推断模型和检索模型；其中，在构建待训练的对话模型时在任务导向型对话中引入知识型对话建模，建模为隐变量对话模型，通过构建参数为θ以及参数为φ的模型实现，生成模型记为pθgen、推断模型记为qφ、检索模型记为pθret；并通过所述检索模型从数据库中找出查询结果；其中，知识型任务对话系统通过一个参数为θ的模型来实现，且把概率分解到每一轮： 其中，pθht,rt|ct,ut用如下公式来实例化，并分解为检索概率和生成概率：pθht,rt|ct,ut＝pθkbt,at,rt|ct,ut＝pθretkbt|ct,utpθgenat,rt|ct,ut,kbt推断模型qφht|ct,ut,rt用如下概率分解： 其中条件概率qφh1:T|u1:T,r1:T用以下式子来进行实例化：qφkbt,at|ct,ut,rt为推断概率；基于有标注的第一数据对所述待训练的对话模型中的推断模型和检索模型进行有监督的预训练，其中，预训练后的推断模型用于根据所述第一数据中的用户输入数据和系统回复数据得到隐变量数据，预训练后的检索模型用于根据所述第一数据中的用户输入数据从数据库中检索得到查询结果；基于所述第一数据和无标注的第二数据形成的训练样本，对预训练后的对话模型进行半监督训练，得到训练好的对话模型，其中，所述训练好的对话模型中所述生成模型用于生成对话动作数据和系统回复数据；在对预训练后的对话模型进行半监督训练的过程中，在采用所述第一数据作为训练样本的情况下，所述隐变量数据为根据所述第一数据中的查询结果和对话动作数据拼接而成的第一标签；生成概率pθat,rt|ct,ut,kbt和所述推断概率qφkbt,at|ct,ut,rt均按照最大似然的方法进行优化；在对预训练后的对话模型进行半监督训练的过程中，在采用所述第二数据作为训练样本的情况下，根据按轮迭代的重要性采样方法对所述隐变量数据进行采样，将采样结果确定为第二标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国移动通信集团有限公司研究院;清华大学，其通讯地址为：100033 北京市西城区金融大街28号院1号楼11层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。