申请/专利权人：西北大学

申请日：2024-04-17

公开（公告）日：2024-06-28

公开（公告）号：CN118262195A

主分类号：G06V10/774

分类号：G06V10/774;G06V10/30;G06V10/764;G06V10/75;G06V10/82

优先权：

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：本发明属于计算机视觉技术领域，涉及一种掩码分割图引导的中国山水画生成模型构建方法，包括将T2ICLP‑Seg数据集中的历史文化、画面内容、情感和诗词的细粒度信息注入SD‑v1.5去噪扩散模型；将图像输入SAM模型得到分割图像，输入SegControl模块指导模型生成布局和构图细致的山水画图像；利用掩码特征预测模块优化约束生成图像的局部细节和整体风格；采用损失函数迭代训练模型。本发明的中国山水画生成模型可以利用细粒度文本信息以及分割图像作为条件进行引导，生成的图像更符合真实山水画的风格和古诗词中描绘的意境。

主权项：1.一种掩码分割图引导的中国山水画生成模型构建方法，其特征在于，包括以下步骤：步骤1，将原始山水画数据集进行人工标注并通过大型语言模型提取文本信息，得到山水画图文数据集T2ICLP；所述山水画图文数据集T2ICLP包括图像IO及与每张图像IO对应的四种细粒度文本信息；通过SAM模型对图像IO进行分割处理，生成山水画分割图像，与山水画图文数据集T2ICLP合并，得到T2ICLP-Seg数据集；将其分为训练集和测试集；步骤2，将所述细粒度文本信息分别输入Taiyi-CLIP编码器提取文本的语义信息、上下文关系、情感色彩深层次特征，得到对应的文本特征向量，将文本特征向量按特定顺序输入预训练模型；将训练集图像IO输入Taiyi-CLIP编码器，提取山水画图像的结构、纹理特征，得到图像特征向量，将图像特征向量按特定顺序输入预训练模型；步骤3，冻结预训练模型权重并加入可训练的SegControl模块，用于通过添加分割图像信息控制预训练模型的扩散过程；将训练集中的山水画分割图像送入SegControl模块中，通过SegControl更新的权重参数、文本特征向量、图像特征向量控制预训练模型的扩散过程，生成用于计算损失的图像IL；步骤4，将图像IO以及图像IL输入掩码特征预测模块MFPM，将图像IO与IL分割为patches并添加掩码，之后对图像IO进行重构，将图像IL转换为用于计算损失的向量，利用掩码和重构过程计算损失，并与预训练模型的损失进行加权，计算总损失；根据总损失更新预训练模型的参数，优化模型；步骤5，重复步骤2、3、4，进行迭代训练，直至模型收敛，得到一种掩码分割图引导的中文生成山水画模型。

全文数据：

权利要求：

百度查询： 西北大学 一种掩码分割图引导的中国山水画生成模型构建方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD