买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学院信息工程研究所
摘要:本发明公开了一种文生图模型训练及通过该模型生成目标图像的方法,属于网络安全技术领域。以第一文本编码器和第二文本编码器建立文本模型,以潜空间扩散模型和图像解码器建立图像模型;获取良性提示词数据集、对抗提示词数据集和目标提示词;利用数据投毒技术和后门攻击技术微调文本嵌入之间的损失函数,以完成文生图模型的训练。本发明有效消除了文生图模型生成的图像中的敏感内容,保证文生图模型生成目标图像过程的内容安全性和鲁棒性,保障涉及敏感信息的图像不被生成和传播。
主权项:1.一种文生图模型训练方法,包括:以一第一文本编码器和一第二文本编码器建立文本模型,采用敏感内容或具有敏感内容指向的提示词中的深层语义信息作为所述文本模型的触发器;以潜空间扩散模型和图像解码器建立图像模型;固定所述第一文本编码器、所述潜空间扩散模型和所述图像解码器的参数并禁用外部过滤机制;获取良性提示词数据集、对抗提示词数据集和目标提示词;所述良性提示词数据集内含良性提示词,所述良性提示词为不包含敏感内容且不具有敏感内容指向的句子或词组;所述对抗提示词数据集内含对抗提示词,所述对抗提示词为直接包含敏感内容或具有敏感内容指向的句子或词组;所述目标提示词为指定的可选的不包含敏感内容且不具有敏感内容指向的句子或词组;将所述良性提示词数据集输入所述第一文本编码器和所述第二文本编码器得到第一良性文本嵌入和第二良性文本嵌入;将所述目标提示词输入所述第一文本编码器得到目标文本嵌入;将所述良性提示词数据集与所述对抗提示词数据集按设定投毒比例混合后输入所述第二文本编码器得到投毒文本嵌入;微调所述第二文本编码器的参数使所述第一良性文本嵌入和所述第二良性文本嵌入之间的损失函数与所述目标文本嵌入和所述投毒文本嵌入之间的损失函数之和趋于最小值,以获得训练好的第二文本编码器,完成文生图模型的训练。
全文数据:
权利要求:
百度查询: 中国科学院信息工程研究所 一种文生图模型训练及通过该模型生成目标图像的方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。