买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：福州大学

摘要：本发明涉及一种融合局部和全局特征的无参考图像质量评价方法及系统，该方法包括以下步骤：步骤S1：对失真图像数据集中的图像进行数据预处理，并将数据集划分为训练集与测试集；步骤S2：构建全局及局部图像坐标提取模块；步骤S3：构建时间注意力机制模块；步骤S4：构建融合局部和全局图像特征的无参考图像质量评价网络，并采用训练集训练所述无参考图像质量评价网络；步骤S5：将测试集中图像输入到训练好的无参考图像质量评价网络模型中，输出对应的图像质量评价结果。该方法及系统有利于提高无参考图像质量评价的准确性。

主权项：1.一种融合局部和全局特征的无参考图像质量评价方法，其特征在于，包括以下步骤：步骤S1：将失真图像数据集划分为训练集与测试集，并对数据集中图像进行数据预处理；步骤S2：构建全局及局部图像坐标提取模块；步骤S3：构建时间注意力机制模块；步骤S4：构建融合局部和全局图像特征的无参考图像质量评价网络，并采用训练集训练所述无参考图像质量评价网络；步骤S5：将测试集中图像输入到训练好的无参考图像质量评价网络模型中，输出对应的图像质量评价结果；所述步骤S2中，所述全局及局部图像坐标提取模块按如下方法执行取全局或局部图像坐标操作：将尺寸为H×W的图像划分为n2个不相交的全局或局部图像，全局或局部图像的尺寸为h×w，其中然后记录每一个全局或局部图像左上角和右下角像素在原始图像的坐标，其中n为设定参数，当n＝1时提取的是全局图像，n1时提取的是局部图像；所述全局及局部图像坐标提取模块重复执行上述取全局或局部图像坐标操作N次，第i次执行时参数n＝i，得到N个图像尺度上的全局或局部图像的左上角和右下角的坐标，将各图像尺度上的全局或局部图像的左上角和右下角的坐标进行拼接，得到左上角和右下角的坐标向量xl,yl,xr,yr，向量的维度为Q，其中，Q＝1+22+32+…+N2；所述步骤S3具体包括以下步骤：步骤S31：设时间注意力机制模块的输入为Fin，其维度为C×hx×wx；首先改变输入特征Fin，维度为Q×c×hx×wx，得到特征Freshape，其中，c＝CQ，Q为局部和全局图像个数；步骤S32：将步骤S31中的Freshape依次输入空间池化层和通道池化层，首先将Freshape输入到空间池化层，得到输出Fspatial，其维度为Q×c×1×1，Fspatial的计算公式为：Fspatial＝MaxpoolFreshape+AvgpoolFreshape其中，Maxpool*表示步长为1的空间最大池化层，Avgpool*表示步长为1的空间平均池化层；然后将Fspatial输入到通道池化层，得到输出Fchannel，其维度为Q×1×1×1，Fchannel的计算公式为：Fchannel＝Conv1×1ConcatCMaxpoolFspatial,CAvgpoolFspatial其中，CMaxpool*表示步长为1的通道最大池化层，CAvgpool*表示步长为1的通道平均池化层，Concat·表示特征在新的维度上进行拼接，Conv1×1*表示用于降维且卷积核大小为1×1的卷积层；步骤S33：将步骤S32中的Fchannel通过Reshape操作改变其维度，由Q×1×1×1变为Q，然后将Fchannel输入两层全连接层中，采用注意力机制来获得模型学习到图像不同的全局或局部图像的重要程度，以确定局部和全局图像中的哪些图像对于整体图像的质量评价具有更大的影响；再经过sigmoid函数将数值映射到0，1中，得到特征权重wtime，将wtime通过Reshape操作，将其维度由Q变为Q×1×1×1，之后用该特征权重作为对局部与全局图像的指导权重，即将最初输入的图像特征Fin乘以权重wtime再加上Fin，得到时间注意力机制模块的最终输出为Ftime，维度为C×hx×wx，Ftime的计算公式为：wtime＝SigmoidMLP1Reshape1FchannelFtime＝Fin+Fin×Reshape2wtime所述步骤S4具体包括以下步骤：步骤S41：以包括ResNet50、ResNet101的图像分类网络中的一种为基础，建立主干网络，去除主干网络的最后一层后作为特征提取网络；步骤S42：将训练集中一个批次的图像输入到步骤S41中的特征提取网络，特征提取网络输出图像特征Fbackbone，其维度为C×hx×wx，C为图像特征的通道数；同时，将图像输入全局及局部图像坐标提取模块，得到局部和全局图像的左上角和右下角坐标；步骤S43：由于同一幅图像具有不同大小的全局图像和局部图像，而在神经网络批处理阶段需要特征维度相同，因此将输出的图像特征Fbackbone和通过全局及局部图像坐标提取模块得到的与之相对应的局部和全局图像的左上角和右下角坐标一起输入到感兴趣区域校正模块，以此获得相同维度的局部和全局图像特征Falign，其维度为C×poolsize×poolsize，其中，poolsize为图像特征的尺寸大小；步骤S44：将步骤S43输出的特征Falign输入到步骤S3中构建的时间注意力机制模块中，获得时间注意力机制的输出Ftime，之后将Ftime输入到双向门控制循环单元网络中，以模拟人类评价图像质量时对图像局部的顺序查看，获得输出Fbigru，其维度为Q×C；步骤S45：对于步骤S44的输出Fbigru，首先采用Reshape操作改变其维度，由Q×C变为P，P＝Q×C，接着将Fbigru输入到最后的两层全连接层中，以此获得最终的图像质量评价分数Fout，其维度为1，表示图片的质量分数，其计算公式为：Fout＝MLP2Reshape3Fbigru步骤S46：计算融合局部和全局图像特征的无参考图像质量评价网络的损失函数如下： 其中，m为样本个数，yi表示图像的真实质量分数，表示图像经过融合局部和全局图像特征的无参考图像质量评价网络得到的质量分数；每个全局图像和局部图像的真实质量分数和其所属的图像的真实质量分数相同；步骤S47：以批次为单位重复上述步骤S42至步骤S46，直至步骤S46中计算得到的损失值收敛并趋于稳定，保存网络参数，完成融合局部和全局图像特征的无参考图像质量评价网络的训练过程。

全文数据：

权利要求：

百度查询： 福州大学 融合局部和全局特征的无参考图像质量评价方法及系统