买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于图像信息处理技术领域，公开一种提示解耦的文本到大场景遥感图像生成方法，构建基于背景生成器和目标生成器的两个生成管线，设计关注布局的对抗训练方法提升生成质量，并提出模型提示解耦策略，配合双管线设计处理输入文本，提高了生成图像与输入文本的语义一致性。本发明缓解了现有文本到遥感图像生成研究存在的生成图像的前景和背景的纹理容易混淆、未有效保留遥感目标的结构和纹理等诸多问题。使用本发明提出的解耦生成框架和对应的训练方法，可以生成更为逼真，且输出图像与输入文本语义一致性更高的大尺度场景遥感图像。

主权项：1.一种提示解耦的文本到大场景遥感图像生成方法，其特征在于，该提示解耦的文本到大场景遥感图像生成方法为使用解耦后的双生成管线结构进行遥感图像生成框架，步骤如下：整个遥感图像生成框架主要分为模型提示解耦策略、双生成管线结构和关注布局的对抗训练方法；（1）模型提示解耦策略设计模型提示解耦策略将输入的模型提示解耦：对于一个输入文本，先使用文本分析算法拆解文本的句法成分，并从中选出目标短句；再将输入文本中目标短句的位置替换为代表“空”的字符串，此处使用大写字母“X”；目标短句作为目标生成器的生成条件；剔除了目标短句的文本中，余下的介词短语和状语依旧包含丰富的布局和方位信息，作为背景生成器的生成条件；然后使用对比语言-图像预训练CLIP的文本编码器对目标短句和剔除了目标短句后的文本进行编码，最终获得目标模型提示和背景模型提示；模型提示解耦策略的流程表示如下： 1其中，代表输入文本，为文本分析算法，和分别为目标模型提示和背景模型提示；（2）双生成管线结构以将遥感图像的目标生成流程和背景生成流程进行拆分解耦为依据设计的双生成管线结构分为目标生成器、背景生成器和自适应集成生成器，以及三者各自对应的判别器；目标生成器以标准正态分布随机序列和目标模型提示作为输入，输出目标中间生成特征；同样，背景生成器以标准正态分布随机序列和背景模型提示作为输入，输出背景中间生成特征；目标生成器和背景生成器具有相同的结构，均由四个生成卷积块构成，每个生成卷积块由文本融合模块-卷积层-文本融合模块-卷积层-上采样层的结构组成，输入经由四个生成卷积块处理后最终变为6464尺寸的中间特征；其中，生成卷积块中的文本融合模块内部结构为：仿射变换层-leaky线性整流层-仿射变换层-leaky线性整流层，负责将模型提示的知识更充分地融合进中间生成特征中；目标生成器和背景生成器相应的两个判别器也具有相同的结构，由四个判别卷积块构成，每个判别卷积块的内部结构为卷积层-leaky线性整流层-卷积层-leaky线性整流层；目标生成器和背景生成器生成的目标中间生成特征和背景中间特征分别包含了丰富的目标信息和背景信息，再通过设计自适应集成生成器将目标生成器和背景生成器的信息融合，避免丢失；自适应集成生成器由一个融合模块和两个生成卷积块构成，其对应的判别器结构与目标生成器、背景生成器对应的判别器相同；融合模块首先将目标中间生成特征和背景中间生成特征融合，随后融合特征经过两个生成卷积块处理后，最终获取生成图像；自适应集成生成器的融合模块主要由注意力机制块组成，其处理流程用公式表示如下： 2其中，代表拼接操作，为生成条件，由标准正态分布随机序列以及提示拼接而得，为通道注意力块，代表11卷积，为线性整流函数，即为融合特征；（3）关注布局的对抗训练方法关注布局的对抗训练方法：为了获取训练图像中的布局知识，使用一个预训练过的遥感目标检测模型，对公开文本-遥感图像训练集NWPU-Captions中的每一张原始训练样本进行目标检测；再将原始训练样本中的目标检测结果截取出来，作为目标训练样本；被截取后的原始训练样本依旧包含布局信息，但不再完整，无法直接使用，需统计被截取目标周围出现频率最高的像素值，使用该像素值填充原始训练样本中被截取掉的区域后，对原始训练样本进行高斯模糊，作为背景训练样本；最后，使用目标训练样本、背景训练样本和原始训练样本，以及背景模型提示和目标模型提示，对各生成器和判别器进行对抗训练；为了便于训练，临时给目标生成器添加两个生成卷积块，使得目标中间生成特征最终被处理为生成目标样本，在训练完成后，实际使用网络生成图像时两个临时的生成卷积块被移除；目标生成器训练损失与对应判别器训练损失如下： 3 4其中，代表函数的数学期望，同时满足分布；代表取和中的最大值；为目标训练样本数据分布，为生成目标样本的数据分布，为与不匹配的模型提示，为一种稳定训练过程的MAGP损失；同样地，两个生成卷积块被临时加入进背景生成器中，背景生成器训练损失与对应判别器训练损失如下： 5 6其中，为背景训练样本数据分布，为生成背景样本的数据分布，为与不匹配的模型提示，为生成背景样本；自适应集成生成器训练损失与对应判别器训练损失如下： 7 8其中，为原始训练样本数据分布，为样本对应的文本描述经过CLIP处理后得到的原始模型提示，为生成样本的数据分布，为与样本不匹配的模型提示，为生成样本。

全文数据：

权利要求：

百度查询： 大连理工大学 提示解耦的文本到大场景遥感图像生成方法