恭喜吉林大学王玉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜吉林大学申请的专利一种基于大模型和预训练的假新闻检测推断方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119851078B 。
龙图腾网通过国家知识产权局官网在2025-05-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510314705.9,技术领域涉及:G06V10/80;该发明授权一种基于大模型和预训练的假新闻检测推断方法及系统是由王玉;罗新宇;吕颖达;石泽男设计研发完成,并于2025-03-18向国家知识产权局提交的专利申请。
本一种基于大模型和预训练的假新闻检测推断方法及系统在说明书摘要公布了:本发明公开一种基于大模型和预训练的假新闻检测推断方法及系统,涉及图像处理和大型视觉语言模型领域。本发明利用VisionTransformer对图像和音频信息编码,Transformer对文本信息进行编码,通过对比学习技术实现多模态语义对齐,通过训练得到所需的编码器,将该编码器提取到的文本特征与图像特征使用多模态交叉注意力模块进行特征融合,获得文本图像融合特征;然后将文本图像融合特征、人脸图像特征与音频特征使用多模态特征增强模块处理,获得增强特征,捕捉新闻中的细微差别和潜在的操纵迹象;最后使用已有的大型视觉‑语言模型作为骨干网络,将增强特征传入到模型中,最终得到更加精准的判断结果以及推理结果。
本发明授权一种基于大模型和预训练的假新闻检测推断方法及系统在权利要求书中公布了:1.一种基于大模型和预训练的假新闻检测推断方法,其特征在于,具体步骤如下:步骤1:收集来自真实世界新闻媒体的原始真实信息,包括视频,音频以及对应的文本信息;步骤2:将收集到的真实图像信息和文本信息,利用伪造方法对图像、文本以及视频中的人脸帧图像进行伪造操作得到伪造的数据,将真实数据与伪造的数据组成真实与伪造数据集作为训练的数据集;步骤3:利用VisionTransformer对图像和音频信息编码,Transformer对文本信息进行编码,通过对比学习技术实现多模态语义对齐,通过训练得到所需的编码器;步骤4:利用步骤3中所获得的用于处理文本、图像和音频信息的编码器,对真实与伪造数据集中文本、图像和音频信息,图像信息中包含人脸图像信息进行编码;步骤5:将步骤4中提取到的文本特征与图像特征使用多模态交叉注意力模块进行特征融合,获得文本图像融合特征;然后将文本图像融合特征、人脸图像特征与音频特征使用多模态特征增强模块处理,获得增强特征,捕捉新闻中的细微差别和潜在的操纵迹象;通过真实与伪造数据集的训练得到多模态特征融合和增强模型;所述多模态交叉注意力模块表示为: 其中,通过将Q为图像嵌入,K和V为文本嵌入,对图像嵌入进行交叉注意力,其中表示嵌入向量的维度,表示输入图像,表示输入文本,表示图像编码器,表示文本编码器,表示最终得到的多模态交叉注意力特征;所述多模态特征增强模块表示为: 其中表示线性变换,表示通过注意力机制获得的注意力图,表示多模态特征,即人脸特征和音频特征,表示针对多模态交叉注意力特征的线性变换操作,表示向量的乘积运算,表示维度变换操作,与表示激活函数;步骤6:将获取到的原始信息,采用步骤5所得到的多模态特征融合和增强模型提取达到增强特征,利用经过预训练的大语言视觉模型,将得到的增强特征作为提示词输入到该模型中,利用该模型对新闻的真假进行检测推断,得出推断结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人吉林大学,其通讯地址为:130012 吉林省长春市长春高新技术产业开发区前进大街2699号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。