买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门大学

摘要：本发明公开一种无重复高分辨率图片生成方法，使用预训练的文生图稳定扩散模型，根据指定的文本提示词生成目标分辨率的图片，解决DemoFusion会生成重复的小物体和膨胀采样信息不平滑的问题，最终生成无重复的高分辨率图片。图片生成方法包括：1、从高斯噪声中随机采样一个与稳定扩散模型的训练分辨率等大的噪声并进行去噪，保留跨模态注意力产生的跨注意力图；2、将训练分辨率对应的噪声插值到目标分辨率对应的噪声，每次放大1倍；3、对2的结果添加高斯噪声，并保存中间过程产生的高斯噪声；4、一共进行T次去噪；5、如果当前分辨率满足目标分辨率，则使用解码器解码噪声，得到高分辨率图片，否则返回2。

主权项：1.一种无重复高分辨率图片生成方法，使用预训练的文生图稳定扩散模型，根据指定的文本提示词生成目标分辨率的图片，其特征在于包括以下步骤：步骤1、从高斯噪声中随机采样一个与稳定扩散模型的训练分辨率等大的噪声z∈Rh×w×c并进行去噪，其中表示高斯分布，I表示高斯分布的方差为1，R表示实数空间，h表示训练分辨率的高度，w表示训练分辨率的宽度，c表示噪声通道数；保留跨模态注意力产生的跨注意力图；步骤2、进行第i次插值，将训练分辨率对应的噪声z插值到更高分辨率对应的噪声Zi∈RH×W×c，其中H＝i+1h表示更高分辨率的高度，W＝i+1w表示更高分辨率的宽度；步骤3、对噪声Zi添加高斯噪声∈，并保存中间过程产生的高斯噪声其中T表示总的去噪步数，Zi′,t表示噪声Zi第t次去噪的中间过程产生的高斯噪声；步骤4、一共进行T次去噪，每次去噪的步骤为：步骤4.1、将中间过程产生的高斯噪声Zi′余弦递减加权到当前的噪声Zi,t中，其计算公式表示为：Zi,t＝η×Zi′,t+1-η×Zi′；其中η从1余弦递减到0；步骤4.2、使用与训练分辨率等大的窗口进行重叠滑动采样生成个块，其中dh表示高度采样间隔，dw表示宽度采样间隔；同时根据步骤1中保留的跨注意力图生成块内容感知的提示词，并使用每个块对应的块内容感知的提示词进行去噪，再将每个块的去噪结果拼接在一起，其中重叠区域的噪声取平均值，得到拼接后的去噪结果Z1t；步骤4.3、使用膨胀采样，采样出个噪声，对P2个噪声进行窗口交互，然后分别进行去噪操作；去噪后使用窗口交互的逆操作恢复噪声顺序，再使用膨胀采样的逆操作得到全局信息Z2t；最后使用余弦递减加权的方式将Z2t注入到Z1t中，得到Zt-1＝η×Z2t+1-η×Z1t，其中η从1余弦递减到0；步骤5、如果此时的更高分辨率等于目标分辨率，则使用解码器解码噪声，得到目标分辨率的图片，否则返回步骤2。

全文数据：

权利要求：

百度查询： 厦门大学 无重复高分辨率图片生成方法