申请/专利权人：杭州电子科技大学

申请日：2024-03-26

公开（公告）日：2024-06-14

公开（公告）号：CN118200517A

主分类号：H04N17/00

分类号：H04N17/00;H04N21/44;H04N21/442;H04N21/234;H04N21/24;G06N3/045;G06N3/0464

优先权：

专利状态码：在审-公开

法律状态：2024.06.14#公开

摘要：本发明公开了基于注意选择的用户原创视频质量评估方法。首先待评估视频经过时序小块采样模块得到重组帧集合，随后将重组帧集合输入到训练好的参数固定的ASNet，经过多阶段加工和过滤操作得到高阶空时域失真特征token集合，随后输入回归器得到待评估用户原创视频的得分。本发明设计了时序小块采样模块用以细颗粒度地保留时空域的失真信息，同时通过注意力筛选transformer网络多阶段加工和过滤视觉信息，确保模型能够高效地处理和分析复杂场景下视频中的视觉信息，从而提取出失真程度表征性强的语义特征。

主权项：1.基于注意选择的用户原创视频质量评估方法，其特征在于，包括如下步骤：步骤1.采用时序小块采样策略对视频进行采用得到重组帧集合；首先基于结构相似性提出TRS指标来表示在相同空间位置上当前图片块与前后一定时序范围内图片块的相似度和质量差异，该值与相对失真程度成反比；随后在时间上按照一定帧数将视频切割成视频序列片段，再在每一个视频序列片段中，将视频序列片段在空间上切割成图片块，在此基础上利用设计的TRS指标评估选择出相同空间位置不同时序中失真程度最大的图片块，组成时序小块集合；随后，为了保持时序小块之间的相对空间位置，将时序小块按其原始空间位置集合重组成帧，得到重组帧集合；步骤2.构建注意力筛选transformer网络ASNet；该模型以传统transformer层级架构为基础改进的视觉感知transformer网络；其中考虑到模型的性能与计算量，注意力筛选transformer网络采用了Swin-B层级架构；ASNet分为四个阶段，在第一个阶段中，通过由3D卷积层组成的图片块嵌入层patchembedding改变视频信息的承载形式，形成初步的时空特征向量，即token；之后，使用两个基于非注意特征过滤的transformer层结构组成的窗口自注意力模块即SAT模块来执行初始的噪声特征过滤和自注意力计算，形成第一阶段最终的token集合；ASNet的后三个阶段由SAT模块和空间特征过滤降采样模块SFFD组成；在第k阶段中，首先使用空间特征过滤降采样模块SFFD对token集合进行空间下采样和特征通道上采样，聚合局部视觉信息和剔除冗余信息获得进一步抽象化和精简化的token集合；然后引入SAT模块对token集合进行加工和噪声特征过滤得到该阶段最终的token集合；基于非注意特征过滤的transformer层结构NAFF，具体而言，将传统的transformer层结构中的多头自注意力模块替换成基于非注意特征过滤的多头注意力模块，其他的层结构组成成分保持不变；具体而言，所述的基于非注意特征过滤的多头注意力模块利用多头自注意力模块将token的通道分成数组，不同的通道组代表token的部分视觉信息；随后，通过引入通道组注意力权重阈值，构建特征过滤矩阵对token集合中的噪声特征进行识别和过滤；噪声特征即通道组注意力权重小于通道组注意力权重阈值的特征；步骤3：将注意力筛选transformer网络ASNet得到的最终的token集合输入回归器得到评估得分；步骤4：通过现有数据集对总体网络模型进行训练；模型采用AdamW学习率优化器，选择余弦退火函数来逐渐降低学习率，损失函数为L1损失函数；采用了随机拆分策略，将数据集无重叠地划分为训练集和测试集，比例设为80％20％；利用时序小块采样模块对训练集的每个视频进行采样，得到重组帧集合；之后将重组帧集合输入ASNet得到最终的token集合，随后输入回归器得到评估得分；将评估得分与实际分数输入损失函数，通过链式法则计算损失函数对模型中每个参数的梯度，最后利用梯度信息，结合学习率优化器反向更新网络参数；步骤5：将待评估用户原创视频输入训练好的总体网络模型进行评估；首先待评估视频经过时序小块采样模块得到重组帧集合，随后将重组帧集合输入到训练好的ASNet，经过多阶段加工和过滤操作得到高阶空时域失真特征token集合，随后输入回归器得到待评估用户原创视频的得分。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于注意选择的用户原创视频质量评估方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD