买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜福州大学申请的专利结合卷积和注意力的时空融合视频质量评估方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116385932B 。

龙图腾网通过国家知识产权局官网在2025-05-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310356360.4，技术领域涉及：G06V20/40；该发明授权结合卷积和注意力的时空融合视频质量评估方法是由牛玉贞;王镇隆;张博林设计研发完成，并于2023-04-06向国家知识产权局提交的专利申请。

本结合卷积和注意力的时空融合视频质量评估方法在说明书摘要公布了：本发明提供了结合卷积和注意力的时空融合视频质量评价方法，包括以下步骤：步骤S1：将视频质量评价数据集中的数据集进行预处理，使其大小一致，并划分训练集和测试集；步骤S2：设计结合卷积和注意力机制的空间特征提取网络；步骤S3：设计结合卷积和注意力的时间特征提取网络；步骤S4：设计基于注意力机制的时空特征融合网络；步骤S5：将视频分别送入设计好的空间特征提取网络和时间特征提取网络进行训练；步骤S6：将所提取的空间特征和时间特征送入时空特征融合网络，训练并保存时空特征融合网络。步骤S7：将测试视频送入空间特征提取网络和时间特征提取网络，然后将时间和空间特征送入时空特征融合网络得到视频的质量评估分数。

本发明授权结合卷积和注意力的时空融合视频质量评估方法在权利要求书中公布了：1.结合卷积和注意力的时空融合视频质量评估方法，其特征在于，包括以下步骤：步骤S1：将视频质量评价数据集中的数据集进行预处理，使其大小一致，并划分训练集和测试集；步骤S2：设计结合卷积和注意力机制的空间特征提取网络；步骤S3：设计结合卷积和注意力的时间特征提取网络；步骤S4：设计基于注意力机制的时空特征融合网络；步骤S5：将视频分别送入设计好的空间特征提取网络和时间特征提取网络进行训练，保存训练好的模型对视频进行空间特征和时间特征的提取；步骤S6：将所提取的空间特征和时间特征送入时空特征融合网络，训练并保存时空特征融合网络；步骤S7：将测试视频送入空间特征提取网络和时间特征提取网络，然后将时间和空间特征送入时空特征融合网络得到视频的质量评估分数；所述步骤S2具体为：步骤S21：对视频进行抽帧处理，每4帧抽取一帧用于网络输入，得到的视频作为输入视频，其大小记为L×3×H×W，其中L为抽帧之后的视频长度，3是RGB的三个通道；步骤S22：以ResNet50作为主干网络，对于输入视频的每一帧通过ResNet50的前4个阶段进行特征提取，得到包含多语义信息的高级图像特征F，F的大小为然后加入可学习的位置编码PE，其大小为即对L帧都加入相同的PE得到Fpe；将Fpe送入三个卷积核大小为C×3×3的卷积网络，同时进行通道维数的降维；得到大小为的三个向量Q、K、V，其中C为128；步骤S23：将Q、K、V在通道维度上进行连接，得到特征大小为再送入一个卷积核大小为C×3×3的卷积网络降维成大小为的卷积特征图Fc；与此同时对Q、K、V进行自注意力计算，即将Q、K、V划分为大小为4×4的块，形状大小变成然后把Q与K的转置进行矩阵乘法，经过Softmax函数得到注意力图，再和V进行矩阵乘法得到注意力特征图Fa；接着把Fa变回的大小；公式如下： 其中Softmax·表示Softmax函数，KT表示K的转置，°表示矩阵乘法运算；步骤S24：将步骤S23得到的Fc和Fa分别乘以可学习权重ɑ和β进行相加，再通过标准池化和最大池化，然后连接得到最终的空间向量fspace，其维度为L×2C；此外，在网络训练时我们还需要得到一个质量分数用于训练，因此通过一层全连接层得到空间特征的质量分数Score1，具体公式为：Fca＝αFc+βFa Score1＝FCfspace其中ɑ，β是可学习权重，Std·表示标准池化，Max·表示最大池化，⊕表示连接运算，FC表示全连接层；所述步骤S3具体为：步骤S31：将数据集视频按照4:1的比例进行抽帧，得到fast视频，然后进一步对fast视频按照4:1的比例进行抽帧，得到slow视频；即原视频、fast视频和slow视频的分辨率大小相同都为H×W，长度分别为4L、Lfast和Lslow，其中L:Lfast:Lslow＝4:4:1；步骤S32：使用Slowfast作为主干网络，将视频送入Slowfast网络的前5个阶段得到特征图Fs和Ff，Slowfast中的slow分支是用少的帧数以及大的通道数学习视频的空间语义信息，而fast分支则是用多的帧数以及少的通道数来学习视频的运动信息；步骤S33：特征图Fslow和Ffast的大小分别是Lslow×16C×H×W，Lfast×2C×H×W，然后使用两个卷积核大小为C×1×1卷积网络分别将Fslow和Ffast的通道维度降维成C并且连接起来得到Ftime，其大小为Lt×C×H×W，Lt＝Lfast+Lslow，再通过标准池化和最大池化并连接得到特征向量ftime，其大小为Lt×2C；此外，在网络训练时需要一个质量分数，因此使用全连接层和平均函数得到时间维度的质量分数Score2；具体公式如下： Score2＝MeanFCftime其中，Conv·表示卷积网络，表示连接运算，Std·表示标准池化，Max·表示最大池化，FC表示全连接层，Mean·表示平均函数；所述步骤S4具体为：步骤S41：输入为空间特征向量fspace和时间特征向量ftime，其维度分别是L×2C和Lt×2C，将fspace和ftime分别加入维度为2C的可学习位置编码，然后分别通过全连接层，对于fspace得到Qs，其大小为L×2C，对于ftime得到Kt、Vt，其大小都为Lt×2C，具体公式如下：Qs＝FCfspace+PEsKt＝FCftime+PEtVt＝FCftime+PEt其中，PE表示可学习的位置编码，FC表示全连接层；步骤S42：对Qs、Kt、Vt向量进行自注意力操作，对Q和K的转置进行矩阵乘法，经过Softmax函数得到注意力图，再和V相乘得到时空增强特征fts，其大小为L×2C，具体公式如下： 其中，Softmax·表示Softmax函数，表示矩阵乘法，KtT表示Kt的转置；步骤S43：将得到的时空增强特征向量fts通过残差连接和空间特征fspace进行相加，用时空增强特征向量对表现好的空间特征向量进行增强并经过层归一化，得到时空融合特征ffin，其大小为L×2C，再通过一个前馈神经网络，即先经过一层全连接层然后通过Relu激活函数，再通过一层全连接层，得到中间特征ftemp；最后用一层全连接层得到每一帧的质量分数并取平均值即可得到我们整个视频的最终质量分数，具体公式如下：ffin＝LNfts+fspaceftemp＝FCReluFCffinScore＝MeanFCftemp其中LN·表示层归一化函数，FC·表示全连接层，Relu·表示Relu激活函数，Mean·表示平均函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。