买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中山大学申请的专利基于多尺度卷积网络和ViT的虚假视频检测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114387641B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111573856.4，技术领域涉及：G06V40/40；该发明授权基于多尺度卷积网络和ViT的虚假视频检测方法及系统是由林浩;骆伟祺设计研发完成，并于2021-12-21向国家知识产权局提交的专利申请。

本基于多尺度卷积网络和ViT的虚假视频检测方法及系统在说明书摘要公布了：本发明提出一种基于多尺度卷积网络和ViT的虚假视频检测方法及系统，虚假视频检测的技术领域，首先对待检测数据集进行处理得到视频帧序列，识别并提取待检测视频数据集视频帧序列中图像的人脸区域，然后搭建基于多尺度卷积网络和ViT的虚假视频检测模型，基于该模型准确提取人脸特征，同时融合人脸区域的不同尺度信息，其中，多尺度特征提取模块通过学习低质量虚假视频中图像的边缘信息，得到整个人脸图片的多尺度特征，利用ViT代替作为分类的全局平均池化和全连接层，提高了低质量虚假视频的检测准确率和检测性能。

本发明授权基于多尺度卷积网络和ViT的虚假视频检测方法及系统在权利要求书中公布了：1.一种基于多尺度卷积网络和ViT的虚假视频检测方法，其特征在于，包括以下步骤：S1.确定待检测视频数据集，将待检测视频数据集的视频解码为帧序列，对帧序列进行随机采样选取，得到帧序列S；S2.识别帧序列S中的人脸区域并提取，然后预处理，得到特征提取区域；S3.搭建基于多尺度卷积网络和ViT的虚假视频检测模型，包括预处理模块、多尺度特征提取模块、人脸高维语义信息提取模块及ViT模块；S4.将特征提取区域的RGB图像输入预处理模块进行颜色特征学习，得到颜色特征fp；S5.通过多尺度特征提取模块提取出fp的多尺度特征图fp＇，并将多尺度特征图fp＇转变为高维多尺度特征图f1；S6.通过人脸高维语义信息提取模块将颜色特征fp转变为高维人脸语义特征f2，将高维多尺度特征图f1与高维人脸语义特征f2融合为特征图S7.利用ViT模块学习特征图的全局信息并作出预测，得到真实、虚假视频的分类输出结果；步骤S3所述的预处理模块以EfficientNet-B4作为基准卷积神经网络，包括依次连接的一个3*3卷积层及EfficientNet-B4的前十个MBConvBlocks；所述的多尺度特征提取模块连接预处理模块，多尺度特征提取模块包括依次连接的空洞卷积单元及深度分离卷积单元，所述空洞卷积单元包括L个不同感受野的并列空洞卷积，深度分离卷积单元包括Q个深度分离卷积块及P个残差分离卷积块，每个深度分离卷积块均由relu非线性激活函数和一个深度分离卷积、以及归一化层组成，每一个残差分离卷积块在深度分离卷积块中都带有一个线形的残差连接；所述人脸高维语义信息提取模块连接预处理模块，人脸高维语义信息提取模块以EfficientNet-B4为基础网络，具体由依次连接的EfficientNet-B4的后22个MBConvBlocks组成；多尺度特征提取模块的输出端与人脸高维语义信息提取模块的输出端融合后，连接ViT模块，所述ViT模块包括依次连接的深度分离卷积块及VisionTransformer模块，VisionTransformer模块包括Embedding层、TransformerEncoder层及MLPHead分类层；步骤S4所述将特征提取区域的RGB图像输入预处理模块进行颜色特征学习的过程为：S41.将特征提取区域调整大小为H，W，3的RGB图像，并进行归一化处理，作为颜色特征数据，其中，H表示RGB图像的高度，W为RGB图像的宽度，3为通道；S42.设置预处理模块的训练参数、损失函数，对预处理模块进行训练，得到训练好的预处理模块；S43.将调整后的RGB图像输入训练好的预处理模块进行颜色卷积特征学习，选择EfficientNet-B4的前十个MBConvBlocks输出的张量作为颜色特征fp；步骤S5的过程为：S51.设置空洞卷积单元中L个不同感受野的并列空洞卷积的空洞大小及卷积核大小；S52.将颜色特征fp分别输入空洞卷积单元的L个不同感受野的并列空洞卷积，利用L个不同感受野的并列空洞卷积分别提取人脸边缘特征信息，得到L个尺度特征图F1，…，FL；S53.将L个尺度特征图F1，…，FL与颜色特征fp融合，得到多尺度特征图fp＇；S54.将多尺度特征图fp＇输入深度分离卷积单元，利用深度分离卷积单元的深度分离卷积块及残差分离卷积块，将多尺度特征图fp＇转变为高维多尺度特征图f1；在步骤S6中，人脸高维语义信息提取模块接收预处理模块输出的颜色特征fp，人脸高维语义信息提取模块中依次连接的EfficientNet-B4的后22个MBConvBlocks将颜色特征fp转变为高维人脸语义特征f2；在步骤S7中，利用ViT模块学习特征图Ffuse的全局信息时，TransformerEncoder的每一层均能得到的全局信息，设置交叉熵损失函数，反向传播ViT模块的权重参数，得到训练好的虚假视频检测模型；多尺度特征提取模块的输出端输出高维多尺度特征图f1，人脸高维语义信息提取模块的输出端输出高维人脸语义特征f2，高维多尺度特征图f11与高维人脸语义特征f2融合为特征图特征图输入ViT模块，通过深度分离卷积块从空间跟通道两个独立的维度上学习特征图的信息，并且提升特征图的维度，将升维后的特征图划分为若干区块Patches，通过线性映射将每个区块Patch映射到一维向量中，然后经PositionEmbedding后输入至TransformerEncoder层。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。