买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西财经大学

摘要：本发明公开了一种基于多特征多重组合的图像质量评价方法，包括以下步骤：特征提取主干网络、特征多重组合选择、多层感知机（MultilayerPerceptron，MLP）回归预测模型。本发明通过设置特征提取主干网络、特征多重组合选择和MLP回归预测模型，在对图像进行特征提取之前，首先对图像进行归一化预处理，有助于减少模型的训练时间并提高模型预测的准确性，同时使用ResNet‑50作为语义特征提取的主干网络，并且使用在ImageNet上预训练的权重，为了表示整体图像更加完整的信息，捕获图像的局部失真，进一步利用ResNet‑50网络对图像进行特征提取时，同步去提取图像整体从低级语义到高级语义特征，并保证其系统最终对整体图像质量预测的准确程度，确保其最终图像评价处理的效果。

主权项：1.一种基于多特征多重组合的图像质量评价方法，其特征在于：包括以下步骤，S1、特征提取主干网络：首先利用ResNet-50网络对图像进行特征提取，提取图像从低级到高级语义特征，即ResNet-50网络有四大层ConvBlock组成的单元，图像在经过第一层ConvBlock中最后一个IDBlock，此时提取图像的边缘和颜色的低级特征，图像在经过第二层ConvBlock中最后一个IDBlock，此时逐步增加对图像特征的抽象级别，此时提取到更深层的纹理和局部模式，图像在经过第三层ConvBlock中最后一个IDBlock，此时捕捉到高级和抽象的特征，图像在经过第四层ConvBlock中最后一个IDBlock，此时生成的特征图包含全局完整的抽象信息，在对输入的一张图像经过每层卷积后都对其特征输出，从而得到四组特征，并将其全局平均池化成向量，分别为256维、512维、1024维和2048维；S2、特征多重组合选择：随后将S1中的四组特征分别记为F1、F2、F3、F4，并对特征进行多重组合，即通过两重叠加和三重叠加单一层次的特征以提高模型的性能，图像在经过第一层ConvBlock中最后一个IDBlock后，输送至AVGPool中进行自适应平均池化，即对图像的整体特征信息进行一层下采样，在减少图像维度的同时，将信息传递到下一个模块进行特征提取，并最终由Flatten层将多维的输入数据转化为一维的线性形式，具体来说，通过Flatten层将二维数组的各个元素逐个提取出来，形成一个连续的一维数组，并将其传递给后续的神经网络模型，使其对图像进行进一步的处理和理解，并最终得到F1；图像在经过第二层ConvBlock中最后一个IDBlock后，输送至AVGPool中进行自适应平均池化，并由Flatten层将多维的输入数据转化为一维的线性形式，并将其传递给后续的神经网络模型，其AVGPool和Flatten层的处理路径与F1保持一致，并最终得到F2；图像在经过第三层ConvBlock中最后一个IDBlock后，输送至AVGPool中进行自适应平均池化，并由Flatten层将多维的输入数据转化为一维的线性形式，并将其传递给后续的神经网络模型，其AVGPool和Flatten层的处理路径与F1保持一致，并最终得到F3；图像在经过第四层ConvBlock中最后一个IDBlock后，输送至AVGPool中进行自适应平均池化，并由Flatten层将多维的输入数据转化为一维的线性形式，并将其传递给后续的神经网络模型，其AVGPool和Flatten层的处理路径与F1保持一致，并最终得到F4；此时通过对图像进行两重叠加和三重叠加的组合方式进行特定路径的排列组合后输出，具体是将图像从F1的路径重复经过三次，接着经过F2的路径一次，紧接着经过F3的路径重复两次，并最终经过F4的路径一次，从而得出最终数据，设定⊕表示特征向量的连接方式，即采用F1⊕F1⊕F1⊕F2⊕F3⊕F3⊕F4的组合方式运用到模型当中，对图像进行处理输出；S3、MLP回归预测模型：通过上述对特征组合的选择，得出最优的F1⊕F1⊕F1⊕F2⊕F3⊕F3⊕F4的组合方式，其维度为5376维，最终将该向量输入到MLP中进行降维，使其准确的映射到质量分数，MLP由两层全连接层构成，第一层将5376维的特征向量降到128维，第二层由128维的特征向量降到1维并直接映射为质量分数。

全文数据：

权利要求：

百度查询： 江西财经大学 一种基于多特征多重组合的图像质量评价方法