申请/专利权人：中国科学技术大学

申请日：2024-03-29

公开（公告）日：2024-06-18

公开（公告）号：CN117972141B

主分类号：G06F16/78

分类号：G06F16/78;G06F16/75;G06F16/783;G06V10/44;G06V10/764;G06V10/82;G06N3/0455;G06N3/08;G06N5/04

优先权：

专利状态码：有效-授权

法律状态：2024.06.18#授权;2024.05.21#实质审查的生效;2024.05.03#公开

摘要：本发明公开了一种基于纯文本数据训练的图像理解方法、系统、设备及介质，它们是一一对应的方案，方案中：利用纯文本数据进行训练，极大的节省了复杂的图文数据收集和标注流程，并且通过实验表明，采用本发明训练后的图像理解模型具有较高的理解精确度；而且，相比于传统方案在训练和推理阶段使用复杂的文本编码器，本发明在推理阶段仅输入图像，无需额外的文本编码器，从而大大加速了推理速度，对实际应用有积极深远的影响。

主权项：1.一种基于纯文本数据训练的图像理解方法，其特征在于，包括：收集文本数据集；构建图像理解模型并进行训练；所述图像理解模型包括：特征变换单元与任务特定映射单元；训练阶段：将文本数据集中的文本数据输入图像理解模型，通过特征变换单元提取文本数据的文本特征，并通过分布对齐获得模拟的图像特征；任务特定映射单元利用所述模拟的图像特征输出任务结果，其中任务是指图像理解任务；结合任务结果构建损失函数对所述图像理解模型进行训练；推理阶段，将图像输入至训练后的图像理解模型中，通过特征变换单元提取图像特征，并通过分布对齐获得对齐后的真实图像特征，再经任务特定映射单元输出任务结果，完成图像理解任务；所述特征变换单元包括：预训练的视觉语言模型以及分布对齐模块；其中：所述预训练的视觉语言模型包括：文本编码器与视觉编码器；所述文本编码器应用于训练阶段，视觉编码器应用于推理阶段；训练阶段中，通过文本编码器提取文本数据的文本特征，并经分布对齐模块获得模拟的图像特征；推理阶段通过视觉编码器提取图像特征，经分布对齐模块获得对齐后的真实图像特征；训练阶段，分布对齐模块执行分布移动与随机游走操作；文本特征记为，经分布移动操作获得文本特征，表示为：；其中，表示求解均值；再经随机游走操作，获得模拟的图像特征，表示为： ； ； ；其中，与均为噪声向量；噪声向量服从均值为0，方差为的高斯分布；噪声向量服从均匀分布，与为均匀分布的两个端点；推理阶段，分布对齐模块执行分布移动操作；视觉编码器提取的图像特征记为，经分布移动操作获得图像特征即为对齐后的真实图像特征，表示为：；所述任务特定映射单元包括：语义嵌入线性层与生成式语言模型；当图像理解任务为判别式任务时，语义嵌入线性层根据输入的图像特征，输出分类结果，该分类结果即为任务结果；其中，在训练阶段，所述输入的图像特征为模拟的图像特征，在推理阶段，所述输入的图像特征为对齐后的真实图像特征；当图像理解任务为生成式任务时，语义嵌入线性层输出的分类结果经过生成式语言模型转换为文本结果，该文本结果即为任务结果；训练阶段中，当图像理解任务为判别式任务时，利用预先收集的上下文模板对所述语义嵌入线性层进行初始化，即：结合文本数据集中的类别形成一系列句子，将所有句子经过文本编码器得到文本特征，该文本特征用于赋值语义嵌入线性层的参数；如果所述上下文模板的数目为多个，则对所有上下文模板的文本特征取平均后用于赋值语义嵌入线性层的参数；训练阶段中，当图像理解任务为生成式任务时，通过下述方式对所述语义嵌入线性层进行初始化：将语义嵌入线性层的参数表示为，生成式语言模型的嵌入层输出特征表示为，模拟的图像特征表示为；利用语义嵌入线性层的参数对模拟的图像特征进行转换，表示为： ；其中，为转换后的图像特征，T为转置符号；求解语义嵌入线性层的参数的近似解，表示为： ；其中，为二范数；上述近似解最小二乘法的解表示为： ；利用最小二乘法的解初始化语义嵌入线性层的参数。

全文数据：

权利要求：

百度查询： 中国科学技术大学 基于纯文本数据训练的图像理解方法、系统、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD