申请/专利权人：上海交通大学

申请日：2024-04-26

公开（公告）日：2024-06-14

公开（公告）号：CN118196230A

主分类号：G06T11/00

分类号：G06T11/00;G06T11/40;G06T7/90;G06T5/70;G06V10/80;G06V10/82;G06N3/0455;G06N3/08

优先权：

专利状态码：在审-公开

法律状态：2024.06.14#公开

摘要：本发明提供一种图像上色方法及系统，其中方法包括：提供一图像上色模型，所述图像上色模型包括：预训练的文本编码器、实例掩码多层感知机、实例拼接多层感知机、预训练的视觉编码器、自注意力模型、视觉文本交叉注意力模型、条件图像引导网络模型、条件交叉注意力模型以及预训练的视觉解码器；提供一训练数据集，所述训练数据集包括：实例文本、实例掩码、彩色图像、整体文本以及黑白图像；利用所述训练数据对所述图像上色模型进行训练，得到训练后的图像上色模型；利用所述训练后的图像上色模型，进行图像上色。本发明使用输入的实例掩码和实例文本，允许使用者自定义图像中每个物体的颜色，改善了颜色绑定的问题。

主权项：1.一种图像上色方法，其特征在于，包括：提供一图像上色模型，所述图像上色模型包括：预训练的文本编码器、实例掩码多层感知机、实例拼接多层感知机、预训练的视觉编码器、自注意力模型、视觉文本交叉注意力模型、条件图像引导网络模型、条件交叉注意力模型以及预训练的视觉解码器；提供一训练数据集，所述训练数据集包括：实例文本、实例掩码、彩色图像、整体文本以及黑白图像；利用所述训练数据对所述图像上色模型进行如下训练，得到训练后的图像上色模型：利用所述预训练的文本编码器，对所述实例文本提取实例文本特征；利用所述实例掩码多层感知机，对所述实例掩码提取实例掩码特征；将所述实例文本特征和所述实例掩码特征进行拼接得到实例拼接特征，并利用所述实例拼接多层感知机，对所述实例拼接特征提取实例总特征；对所述彩色图像添加随机噪声生成含噪图像，并利用所述预训练的视觉编码器，对所述含噪图像提取视觉特征；将所述实例总特征和所述视觉特征拼接成视觉拼接特征，并利用所述自注意力模型，对所述视觉拼接特征和所述实例掩码提取视觉总特征；利用所述预训练的文本编码器，对所述整体文本提取整体文本特征；利用所述视觉文本交叉注意力模型，对所述视觉总特征和所述整体文本特征提取视觉文本总特征；利用所述条件图像引导网络模型，对所述黑白图像提取条件图像特征；利用所述条件交叉注意力模型，对所述视觉文本总特征和所述条件图像特征提取最终总特征；利用所述预训练的视觉解码器，获取所述最终总特征的预测噪声，并利用所述预测噪声对所述含噪图像进行去噪处理，得到最终彩色图像；利用所述训练后的图像上色模型，进行图像上色。

全文数据：

权利要求：

百度查询： 上海交通大学 图像上色方法、系统、终端及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD