买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：之江实验室

摘要：本发明公开了一种多模态双向蕴含社交网络虚假消息验证的方法及装置，通过图片和文本编码器对原始图片‑文本对进行特征提取，根据其蕴含关系构建对比学习；通过图片和文本编码器提取图片‑文本对所对应的特征；使用回归编码器对特征进行回归转换，对转换后得到的特征构建对比学习过程，使转换后的图片特征、文本特征分别回归到原始图片特征空间、原始文本特征空间内；通过训练好的编码器提取社交网络虚假消息中的图片‑文本对特征；将提取到的特征进行拼接和融合，随后经过分类函数得到虚假消息分类检测结果。通过本发明能充分挖掘两个模态数据之间的互补和蕴含信息，弥补单个模态信息表征不强的缺点，进而提高对社交网络信息的验证检测能力。

主权项：1.一种多模态双向蕴含社交网络虚假消息验证的方法，其特征在于，包括以下步骤：（1）通过图片编码器以及文本编码器，对包含社交网络虚假消息的原始数据集中的原始图片-文本对进行特征提取，获取对应的图片特征和文本特征；（2）基于原始图片-文本对的蕴含关系构建对比学习，将步骤（1）得到的图片特征和文本特征进行对比学习，以训练图片编码器和文本编码器；（3）通过步骤（2）训练好的图片编码器和文本编码器对原始图片-文本对进行特征提取，并将提取到的图片特征、文本特征分别送入图片-文本回归编码器、文本-图片回归编码器进行回归转换；包括：通过训练好的图片编码器和文本编码器提取原始图片-文本对的图片特征和文本特征，并将提取到的图片特征、文本特征分别送入图片-文本回归编码器和文本-图片回归编码器中，通过训练这两个回归编码器参数将图片特征转换到文本特征、文本特征转换到图片特征，随后把转换后的特征进行对比学习，对图片特征和文本特征进行回归转换，分别获得经过回归转换后的图片到文本特征和文本到图片的特征；（4）对步骤（3）回归转换后的图片到文本特征和文本到图片分别使用对比学习策略，构建对比学习回归过程，将转换后的文本特征回归到其原始图片所对应的原始文本特征空间内、转换后的图片特征回归到其原始文本所对应的原始图片特征空间内，以训练图片-文本回归编码器和文本-图片回归编码器；所述对比学习回归过程包括：将文本特征、图片到文本特征构成第二矩阵，将图片特征、文本到图片特征构成第三矩阵；通过对比学习使转换后的文本特征与原始文本特征相似度最大，通过最大化第二矩阵对角线上正样本的原始文本特征和回归文本特征的余弦相似度，同时最小化非对角线上的负样本的余弦相似度，将转换后的文本特征回归到其原始图片所对应的原始文本特征空间内，以训练图片-文本回归编码器；通过KL散度来最大化第三矩阵对角线上正样本的原始图片特征和回归图片特征的KL散度，使转换后的图片特征和原始图片特征分布相似，将转换后的图片特征回归到其原始文本所对应的原始图片特征空间内，以训练文本-图片回归编码器；（5）通过训练好的图片编码器、文本编码器、图片-文本回归编码器、文本-图片回归编码器，提取社交网络虚假消息中的原始图片-文本对特征；将提取到的特征进行拼接和融合；（6）将步骤（5）融合后的特征送入到Softmax分类器中进行分类，得到虚假消息分类检测结果。

全文数据：

权利要求：

百度查询： 之江实验室 一种多模态双向蕴含社交网络虚假消息验证的方法及装置