买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：腾讯科技(深圳)有限公司

摘要：本申请涉及人工智能技术领域，尤其涉及一种文生图及模型训练方法、装置、电子设备和存储介质，用以提高文生图模型输出的准确性。方法包括：将单概念样本图像及相应的第一描述文本，和多概念样本图像及相应的第二描述文本，分别输入包括多个专家LoRA网络的待训练文生图模型，根据基于第一描述文本预测的第一专家激活信息确定单概念样本图像的第一预测噪声，根据基于第二描述文本预测的第二专家激活信息确定多概念样本图像的第二预测噪声；每个专家LoRA网络对应一个对象；专家激活信息包括在文生图过程中各专家LoRA网络被激活的概率；基于第一预测噪声、第二预测噪声、第一专家激活信息和第二专家激活信息，对待训练文生图模型调参。

主权项：1.一种文生图模型训练方法，其特征在于，所述方法包括：基于图文对训练集，对包含多个专家LoRA网络的待训练文生图模型执行如下两个阶段的训练，以获得训练好的目标文生图模型；所述目标文生图模型用于生成目标图像，每个专家LoRA网络对应一个对象：在单专家训练阶段，分别基于多个对象各自对应的单概念图文对，对所述待训练文生图模型进行参数调整；所述单概念图文对包括：含有一个对象的单概念样本图像及相应的第一描述文本；其中，基于一个对象对应的单概念图文对，对所述待训练文生图模型进行参数调整时执行如下过程：从所述图文对训练集中选取一个对象对应的至少一个单概念图文对，并分别输入所述待训练文生图模型，通过激活所述单概念图文对中对象对应的专家LoRA网络，预测所述单概念图文对中单概念样本图像的第三预测噪声；基于所述第三预测噪声，对所述待训练文生图模型进行参数调整；在多专家训练阶段，从所述图文对训练集中选取多个对象各自对应的单概念图文对以及多概念图文对；所述多概念图文对包括：含有多个对象的多概念样本图像及相应的第二描述文本；将所述单概念图文对和所述多概念图文对，分别输入所述待训练文生图模型，获得基于所述第一描述文本预测的第一专家激活信息，并根据所述第一专家激活信息确定所述单概念样本图像的第一预测噪声；以及，获得基于所述第二描述文本预测的第二专家激活信息，并根据所述第二专家激活信息确定所述多概念样本图像的第二预测噪声；专家激活信息包括：在文生图过程中，各专家LoRA网络各自被激活的概率；基于所述第一预测噪声、所述第二预测噪声、所述第一专家激活信息和所述第二专家激活信息，对所述待训练文生图模型进行参数调整。

全文数据：

权利要求：

百度查询： 腾讯科技(深圳)有限公司 一种文生图及模型训练方法、装置、电子设备和存储介质