买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西啄木蜂科技有限公司

摘要：本发明公开了一种基于多模态大模型的自然保护地和林业遥感图像生成方法，包括构造第一遥感数据集Dc和第二遥感数据集Ds；构造风格迁移网络；构造总损失L，冻结风格迁移网络中第一CLIP图像编码器、第二CLIP图像编码器的权重，用Dc、Ds以最小化L训练风格迁移网络，得到第一风格迁移模型M1；基于M1构造第二风格迁移模型M2，生成最终风格迁移图像。本发明能有效地利用CLIP模型的跨模态学习能力，利用文本生成图像以及将目标风格图的风格特征融合到生成图像中，保证风格的一致性和图像质量，从而优化来了图像内容和风格一致性，确保输出图像在视觉和内容上的高度协调。使管理者能更精准地分析和理解自然保护地和林业区域的动态变化。

主权项：1.一种基于多模态大模型的自然保护地和林业遥感图像生成方法，其特征在于：包括以下步骤；S1，构造第一遥感数据集Dc和第二遥感数据集Ds；Dc={Ic1,Ic2,…,Icn}，Dc中第i个样本为内容图像Ici，为自然保护地和或林业区域内包含目标的遥感图像，1≤i≤n，n为Dc中样本总数；Ds={Is1,Is2,…,IsN}，Ds中第j个样本为风格图像Isj，为各季节和或各时间段不同光照条件下的遥感图像，1≤j≤N，N为Ds中样本总数；S2，构造风格迁移网络；所述风格迁移网络包括第一CLIP图像编码器、第二CLIP图像编码器、Transformer解码器、第一解码器和VGG19网络；所述第一CLIP图像编码器用于对内容图像Ici或风格迁移图像编码得到对应的特征向量fci或；所述第二CLIP图像编码器用于对风格图像Isj编码得到特征向量fsj；所述Transformer解码器用于将fci作为Q矩阵，fsj作为K矩阵和V矩阵，解码得到输出特征；所述第一解码器用于输入，输出风格迁移图像；所述VGG19网络用于对风格图像Isj或风格迁移图像进行多层特征提取，每张图像共提取L层特征图构成特征图集合，Isj和对应的特征图集合分别为和，、分别为Isj和经VGG19网络提取的第l层特征图，1≤l≤L，L≤5；S3，构造总损失L，包括S31~S33；S31，计算内容图像与风格迁移图像间的内容损失Lcontent；S32，计算风格图像与风格迁移图像的风格损失Lstyle，包括S32-1~S32-3；S32-1，对中的每一层特征图，构造一Gram矩阵，对应的Gram矩阵为；S32-2，对中的每一层特征图，构造一Gram矩阵，对应的Gram矩阵为；S32-3，基于和的差异计算Lstyle；S33，计算总损失L，，α和β分别为Lcontent和Lstyle的权重；S4，冻结风格迁移网络中第一CLIP图像编码器、第二CLIP图像编码器的权重，用Dc、Ds以最小化L训练风格迁移网络，得到第一风格迁移模型M1；S5，构造第二风格迁移模型M2；所述M2由经过预训练的CLIP文本编码器和M1中训练好的第二CLIP图像编码器、Transformer解码器、第一解码器构成；S6，用M2生成最终风格迁移图像，包括步骤S61~S64；S61，确定描述文本Tc和待处理风格图像Is；S62，将Tc送入CLIP文本编码器生成文本特征向量、Is送入CLIP图像编码器生成风格特征向量，将作为Q矩阵、作为K矩阵和V矩阵，送入Transformer解码器得到输出特征，再送入第一解码器，将第一解码器的输出的图像作为最终风格迁移图像；所述第一解码器包括依次连接的三个解码层，每个解码层包括第一二维卷积层、ReLU激活函数层、双线性上采样层、第二二维卷积层、第三二维卷积层，其中第二二维卷积层、第三二维卷积层均采用ReLU激活函数。

全文数据：

权利要求：

百度查询： 江西啄木蜂科技有限公司 基于多模态大模型的自然保护地和林业遥感图像生成方法