申请/专利权人：谷歌有限责任公司

申请日：2022-11-16

公开（公告）日：2024-06-28

公开（公告）号：CN118265983A

主分类号：G06N3/0464

分类号：G06N3/0464;G06N3/045;G06N3/0442;G06N3/084;G06N3/09

优先权：["20211116 US 63/280,105"]

专利状态码：在审-公开

法律状态：2024.06.28#公开

摘要：公开了用于使用存储器优化的对比学习来训练图像编码器和文本编码器神经网络的方法、系统和设备，包括编码在计算机存储介质上的计算机程序。

主权项：1.一种方法，所述方法由一个或多个计算机执行并且用于训练：图像编码器神经网络，所述图像编码器神经网络具有图像编码器神经网络参数并且被配置为处理图像以在嵌入空间中生成所述图像的图像嵌入；以及文本编码器神经网络，所述文本编码器神经网络具有文本编码器神经网络参数并且被配置为处理文本片段以在所述嵌入空间中生成所述文本片段的文本嵌入，所述方法包括：获得一批次的训练对，每个训练对包括输入图像和输入文本片段；获得将所述批次的训练对划分为多个训练对块的数据；针对每个块：在一组一个或多个计算装置上，根据所述图像编码器神经网络参数的当前值对所述块中的所述训练对中的所述输入图像执行通过所述图像编码器神经网络的第一前向传递，以生成每个输入图像的相应图像嵌入；在所述一组一个或多个计算装置上，根据所述文本编码器神经网络参数的当前值对所述块中的所述训练对中的所述输入文本片段执行通过所述文本编码器神经网络的第一前向传递，以生成每个文本片段的相应文本嵌入；在所述一组一个或多个计算装置的存储器中存储所述相应图像嵌入和所述相应文本嵌入，而不存储通过执行通过所述图像编码器神经网络和所述文本编码器神经网络的所述第一前向传递而生成的中间隐藏状态；针对所述批次中的每个训练对，并且使用存储在所述一组一个或多个计算装置的所述存储器中的针对所述多个块的所述相应图像嵌入和所述相应文本嵌入，来生成所述训练对中的所述输入图像的所述图像嵌入与所述批次中的所有所述训练对中的所述输入文本片段的所述相应文本嵌入之间的相应相似度；针对所述批次中的每个训练对，确定基于所述相应相似度的对比损失函数关于所述训练对中的所述输入图像的所述图像嵌入的相应梯度；针对每个块：在所述一个或多个计算装置上，根据所述图像编码器神经网络参数的当前值对所述块中的所述训练对中的所述输入图像执行通过所述图像编码器神经网络的第二前向传递，以重新生成所述图像编码器神经网络的所述中间隐藏状态；使用关于所述块中的所述训练对中的所述输入图像的所述图像嵌入的所述相应梯度和所述重新生成的中间隐藏状态，来执行通过所述图像编码器神经网络的反向传递，以生成所述对比损失函数关于所述图像编码器神经网络参数中的每一者的相应分块梯度；以及使用所述块的所述相应分块梯度来更新所述图像编码器神经网络参数的所述当前值。

全文数据：

权利要求：

百度查询： 谷歌有限责任公司 存储器优化的对比学习

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD