买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院计算技术研究所

摘要：本发明提出一种基于创作过程视角引导的虚假新闻视频检测方法和装置，通过素材挑选行为启发的特征建模。从情感和语义两方面对视频创作的素材挑选行为进行分析，得到素材挑选行为启发的新闻真实性预测结果。通过素材编辑行为启发的特征建模。从空间编辑行为和时间编辑行为两方面对视频创作的素材编辑行为进行分析，得到素材编辑行为启发的新闻视频真实性预测结果。通过创作过程引导的双视角虚假新闻视频检测方法，得到综合素材挑选和素材编辑两视角的新闻视频真实性预测结果。本发明不再仅分析假新闻视频呈现内容的浅层模式，而是分析揣测假新闻视频的创作过程。

主权项：1.一种基于创作过程视角引导的虚假新闻视频检测方法，其特征在于，包括：情感特征提取步骤，获取待虚假新闻视频检测的视频，提取该视频的音频情感特征和该视频的标题字幕的文本情感特征，融合该音频情感特征和该文本情感特征，得到多模态情感特征；语义特征提取步骤，间隔采样该视频的关键帧，提取该关键帧的视觉语义特征，提取该标题字幕的文本语义特征；利用跨模态Transformer模型对该视觉语义特征和该文本语义特征做交互，得到视觉增强的文本特和文本增强的视觉特征，将两者拼接送入Transformer模型进行融合得到多模态语义特征；空间特征提取步骤，根据视频画面中文本区域大小筛选出该视频中富文本视觉帧；从该富文本视觉帧中框选文本区域，得到文本框，对该文本框进行编码得到提示特征；将该提示特征和该富文本视觉帧的图像特征输入双向注意力模块进行交互，利用该提示特征引导该图像特征聚焦文本区域，得到空间编辑行为特征；时间特征提取步骤，根据该视频中文本片段的数量、内容和时间区间，提取该视频的文本时序序列；根据该视频中视觉片段的数量、关键帧和时间区间，提取该视频的视觉时序序列；分别提取该文本时序序列和该视觉时序序列中各片段的特征，得到文本片段特征和视觉片段特征，为该文本片段特征和该视觉片段特征分别加入位置编码和时长编码后进行融合，得到时间编辑行为特征；特征融合检测步骤，将该多模态情感特征和该多模态语义特征拼接输入多层感知机，得到挑选行为特征；将该空间编辑行为特征和该时间编辑行为特征拼接输入多层感知机，得到编辑行为特征；将该挑选行为特征和编辑行为特征融合后输入二分类模型，得到该视频的虚假新闻视频检测结果。

全文数据：

权利要求：

百度查询： 中国科学院计算技术研究所 基于创作过程视角引导的虚假新闻视频检测方法及装置