基于显著性深层特征的无参考图像质量评价算法

李佳，郑元林，廖开阳，楼豪杰，李世宇，陈泽豪

基于显著性深层特征的无参考图像质量评价算法

李佳1，郑元林1，2*，廖开阳1，2，楼豪杰1，李世宇1，陈泽豪1

（1.西安理工大学 印刷包装与数字媒体学院，西安 710048； 2.陕西省印刷包装工程重点实验室，西安 710048）（*通信作者电子邮箱zhengyuanlin@xaut.edu.cn）

针对通用型无参考图像质量评价（NR-IQA）算法，提出一种基于伪参考图像显著性深层特征的评价算法。首先，在失真图像的基础上，利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息，弥补NR-IQA算法缺少真实参考信息的不足；然后，提取伪参考图像的显著性信息，将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征；最后，融合二者的深层特征并将其映射到由全连接层组成的回归网络中，从而产生与人类视觉一致的质量预测。为了验证算法的有效性，在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验，结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点，比RankIQA算法提升了14个百分点，针对单一失真类型也具有稳定的性能。实验结果表明，所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法，与人类主观感知表现一致。

无参考图像质量评价；生成对抗网络；显著性；深度学习；超分辨率

0 引言

由于多媒体与通信技术的飞速发展，数字图像数量爆炸式增长，图像已经成为人类获取和传递信息的主要载体，是现代生活中不可缺少的部分。然而图像在经过获取、存储、传输与处理等环节会引入不同失真，引起图像质量退化问题。因此，图像质量评价（Image Quality Assessment， IQA）是一个重要的研究主题，可以用于许多图像处理应用中，例如图像和视频编码、图像去噪、图像重建和图像合成等。

客观图像质量评价算法以对参考图像的依赖程度可分为三类：全参考型质量评价（Full-Reference IQA， FR-IQA）［1-2］、半参考型质量评价（Reduced-Reference IQA， RR-IQA）［3］以及无参考型质量评价（No-Reference IQA， NR-IQA）［4-6］，具体取决于质量评价过程中所需的参考信息量。尽管FR-IQA和RR-IQA算法普遍具有更好的效果，但是在实际情况中通常无法获得参考图像来作为失真图像的对比信息，因此不需要原始参考图像信息的NR-IQA更具有研究意义。FR-IQA与RR-IQA由于能利用未失真的原始图像对比分析失真图像与原始图像的差异性信息进行建模，在过去数十年中已取得了显著成果。相比之下，NR-IQA只能以失真图像作为输入进行评估，使NR-IQA做出良好的图像质量预测更具有挑战性。

缺少参考信息在一定程度上抑制了NR-IQA算法的发展，数年来研究人员做出了许多努力来解决NR-IQA的难题。通过对失真敏感的场景统计数据，可以检测和量化图像质量失真程度，因此出现了自然场景参数包括离散小波系数、log-Gabor滤波器与颜色统计系数［7］与使用广义高斯密度函数对图像块建模的离散余弦变换系数（Discrete Cosine Transform， DCT）［8］等。而后NR-IQA又受到机器学习在计算机视觉任务中成功应用的启发，提出了一些基于神经卷积网络的算法［4，6，9-10］，并在NR-IQA中取得了重大进展。

然而，NR-IQA由于缺失参考图像信息，依然与FR-IQA算法的性能相差甚远。为此，近年来有NR-IQA算法开始聚焦于生成伪参考图像［5，11-12］，即在失真图像的基础上生成伪参考图像作为失真图像的补偿信息。这种算法解决了由于原始参考图像缺失而导致NR-IQA算法效果差、难度大的问题，但是，这种算法普遍针对几种特定失真，不适用于通用无参考算法。

因此，本文针对通用失真，提出了基于显著性深层特征无参考评价算法，通过改进生成对抗网络（Generative Adversarial Network， GAN）模型，生成更逼真可靠的伪参考图像，作为失真图像的补偿信息。该算法可以在一定程度上弥补NR-IQA缺少参考图像的不足，进行与人类视觉一致的质量预测。

综上，本文的主要工作如下：

1）NR-IQA由于缺失参考信息，预测模型效果普遍不甚理想。本文对一种改进的GAN模型——ConSinGAN［13］进行微调，生成可靠逼真的伪参考图像作为失真图像的补偿信息，使用超分辨率模型ESPCN（Efficient Sub-Pixel Convolutional Neural Network）恢复在训练过程中损失的纹理细节和清晰度，再提取伪参考图像的显著性信息与失真图像一起输入到IQA模型中。

2）提出了一种基于显著性深层特征的无参考评价算法。将失真图像与伪参考显著性图像输入到深层特征提取网络中提取语义信息，将二者的深层特征融合并映射到由全连接层组成的回归网络中，得到最终的预测得分。

1 相关工作

NR-IQA由于具备更多的应用场景被广泛研究，近年来涌现了许多基于卷积神经网络（Convolutional Neural Network， CNN）的算法。例如Bosse等［9］基于CNN提出了一个端到端的无参考模型，将失真图像输入到CNN中提取特征，特征向量映射到由全连接层组成的回归网络中获取预测得分。利用CNN提取特征相比传统算法具有更好的效果，因为CNN能获取传统算法无法提取到的深层语义特征。Liu等［4］提出的RankIQA（learning from Rankings for no-reference IQA）训练孪生网络根据图像质量自动给图像进行排序，而后将训练好的孪生网络迁移到CNN中实现对图像质量的估算。RankIQA通过单个网络向前传播一批图像并反向传播该批次中所有图像对得出的梯度，比传统的孪生网络更有效；该算法在当时最新技术水平上提高了5个百分点，在TID2013与LIVE数据集上都表现出不错的效果。Su等［6］提出了一个自适应网络架构hyperIQA（hyper network IQA），该方法首先用ResNet50（50-layer Deep Residual Network）网络提取图像深层语义特征，通过构建的超网络自适应地建立感知规则并将其用于质量预测网络。hyperIQA可以自适应地估计图像质量，因此也适用于自然环境下捕获的不同图像。

通用NR-IQA算法由于缺失参考信息具有很大难度，大多NR-IQA算法效果不佳，为此，有研究将伪参考图像概念引入到IQA中。例如，Min等［11］提出的IQA度量针对块度、锐度和噪声三种失真，假定生成的伪参考图像遭受最严重的失真，计算失真图像和伪参考图像之间的相似度以评估图像质量。而后Min等［5］在此基础上作了改进，对失真图像作进一步退化操作引入伪参考图像，进而对图像进行质量评估。胡晋滨等［14］针对高斯模糊、JPEG（Joint Photographic Experts Group）压缩与高斯噪声三种失真类型提出了基于伪参考图像的NR-IQA算法。Lin等［15］利用GAN生成具有更高质量的伪参考图像，然后将伪参考信息与失真图像配对，将其传给回归网络引导回归网络学习感知差异，从而产生精确的质量预测。相比之下，将GAN引入到IQA中能生成更高质量的伪参考图像，故本文采用微调的ConSinGAN模型生成伪参考图像并进行超分辨率操作，结合显著性信息对图像进行深层特征提取，以得到与人类视觉良好的一致性。

2 基于显著性深层特征的评价算法

IQA算法就是一种根据人类视觉系统建立图像预测模型的计算机可执行算法。本文提出了一种基于伪参考图像显著性深层特征的无参考图像质量评价算法。该算法主要由三部分组成，即伪参考图像生成网络、深层特征提取网络与质量回归网络。首先将失真图像输入到微调的ConSinGAN中生成伪参考图像，经过超分辨率模型ESPCN恢复在训练阶段丢失的纹理细节与清晰度，再提取伪参考图像的显著性特征作为失真图像的补偿信息；而后将失真图与伪参考显著性图作为输入输送到由CNN构成的特征提取网络中，提取二者的深层特征并融合；最后将融合特征输入到质量回归网络中，得到失真图像的预测得分。图1为本文算法的流程。

2.1 伪参考图像生成网络

GAN是一种新型的生成式对抗网络模型，包括生成模型（Generative Model）和判别模型（Discriminative Model）两个部分，判别模型和生成模型相互博弈，使生成图像更接近于目标图像［16］。生成器的作用主要是生成伪参考图像，鉴别器以对抗的方式帮助生成器产生更符合预期目标的结果。GAN及各种变体［17-18］在生成自然图像领域蓬勃发展，最为经典的是稳定有效的DCGAN（Deep Convolutional Generative Adversarial Network）模型［19］。但是，GAN不易训练，模型容易崩溃，生成高分辨率图像（例如256×256）会导致模型训练不稳定，有时甚至是无意义的输出［20］。因此，本文不采用原始GAN，而是通过引入文献［13］中的ConSinGAN模型来生成逼真可靠的伪参考图像。在生成伪参考图像时微调模型，在训练过程中去掉原模型在每一阶段添加的额外噪声，以保证生成器输出更逼真可靠的伪参考图像。

ConSinGAN模型生成的伪参考图像清晰度不足，相较于原始参考图像清晰度下降且丢失部分纹理细节。为分析部分细节丢失与清晰度下降是否会影响后续显著性特征提取效果，分别提取同样会降低图像细节层次与清晰度的高斯模糊失真下的不同失真等级的显著性特征图，如图2所示。对比分析发现，清晰度与细节层次的降低会影响到显著性特征的提取效果，因此本文添加超分辨率［21］模块，在提升伪参考图像清晰度的同时尽可能保持图像不丢失纹理信息，以便后续更准确地提取显著性特征。

图 2 不同高斯模糊失真等级的显著性图

2.2 基于显著性模型的图像质量评价网络

近年来，基于深度学习的通用NR-IQA算法已表现出优于传统算法的预测性能。本文的IQA部分主要由特征提取与质量回归网络两部分组成。IQA中以VGG（Visual Geometry Group）模型为原型提取失真图像与伪参考显著性图像的深层特征并融合，而后将融合特征作为输入映射到质量回归网络，最终得到与人类视觉一致的质量预测。失真图与伪参考显著性图的两个特征提取网络模型是一致的，都是以VGG网络为原型，主要由卷积层和池化层构成，在卷积与池化的过程中进行图像特征的提取。为更好地提取图像语义特征，去掉原VGG网络末尾三层全连接层与最末层，提取第四层（最大池化层）的特征。由于一幅图像并非每个区域都会受到观看者的注意，通常引起观看者注意的区域部分的失真比其他区域中的失真影响更大，因此在特征提取部分中加入了显著性信息作为深层特征的补偿信息。将伪参考显著性图像与失真图像的深层特征融合并映射到回归网络中获取预测得分。回归网络由两层全连接层（Fully Connection layer， FC）组成，分别为FC-512与FC-1。

2.3 实验细节

在实际操作中，伪参考生成模型在不同阶段生成不同分辨率的图像，因此训练阶段参数设置至关重要，设置合适的学习率和训练阶段可改善模型的学习过程。设置学习率为0.1，训练阶段为6，可令模型得到较好的生成效果。另外，在训练过程中与原模型设置不同，每个阶段不需添加额外噪声，以保证生成器输出更可靠的伪参考图像。

3 实验结果与分析

3.1 数据集

本文算法在被广泛使用的大型公开数据集TID2013［26］、LIVE［27］、CSIQ［28］和TID2008［29］上进行实验。TID2013数据集包括25张原始图像，给这些原始图像施加24种不同失真，例如简单的高斯噪声、压缩失真或更复杂的非偏心模式噪声等，每种失真等级为5，共计得到3 000张失真图像；TID2013与TID2008数据集的图像主观得分差异值范围均为［0，9］；LIVE数据库包括29张原始图像与779张失真图像，这些失真图像在不同的失真级别上受到5种不同失真类型的影响；CSIQ数据库包括30张原始图像与866张包含6种失真类型的失真图像，主观质量得分范围在［0，1］区间。

3.2 评价指标

3.3 实验结果分析

将本文算法与现有主流IQA算法进行比较来验证算法的性能效果。由于本文的NR-IQA算法借助了类似于FR-IQA算法功能的伪参考图像思想，因此选择具有代表性的FR-IQA算法分别在TID2013、TID2008、LIVE与CSIQ数据集上与本文算法进行比较，包括结构相似性指数（Structural SIMilarity index， SSIM）［30］、FSIMc（Feature Similarity Index Method）［31］、VSI（Visual Saliency-Induced Index）［32］、GMSD（Gradient Magnitude Similarity Deviation）［33］、SPSIM（SuperPixel-based SIMilarity index）［34］、LLM（Local Linear Model）［35］等，结果如表1所示。从表中可以看出，本文算法在四个数据集中都表现出与人类主观评价良好的一致性。

在LIVE数据集中，本文算法的SROCC、PLCC性能比FSIMc［31］算法均提高了2个百分点，PLCC性能比GMSD［33］提高了4个百分点，RMSE性能相比其他算法也大幅降低。CSIQ数据集中，SROCC性能比GMSD算法提高了1个百分点，KROCC性能提高了2个百分点，RMSE性能相比其他算法也有优势。在TID2013、TID2008数据集中，对于SROCC、PLCC、KROCC与RMSE评估，本文算法均优于其他FR-IQA算法，表现出优秀的性能。这表明当图像涵盖丰富内容时，学习图像语义内容有助于感知图像质量。

表1 实验数据集上与本文算法与主流IQA算法的性能比较

表2 在LIVE与TID2013数据集上不同算法的性能比较

本文算法使用CNN提取特征，为进一步分析本文算法的性能效果，选择同类型具有代表性的算法进行比较，包括DIQaM-NR（Deep Image Quality assessment Metric-No Refenence）［9］、DIIVINE（Distortion Identification-based Image Verity and INtegrity Evaluation， DIIVINE）［36］、CORNIA（COdebook Representation for No reference Image Assessment）［37］、BIQI（Blind Image Quality Index）［38］、H-IQA（Hallucinated-IQA）［15］、RankIQA［4］、hyperIQA［6］等，实验结果如表2所示。在LIVE数据集中，SROCC性能比DIQaM-NR提高2个百分点，比hyperIQA提高1个百分点，PLCC性能比hyperIQA提高2个百分点，模型性能已超过同类算法。在TID2013数据集上，本文算法与其他算法相比，性能有大幅提升，SROCC性能比H-IQA提高了5个百分点，比同为深度学习算法的RankIQA提高了14个百分点，性能提升效果明显；PLCC性能比BIQI算法提高了6个百分点，比DIQaM-NR算法提高了8个百分点，远超过同类算法性能。分析对比本文算法在LIVE与TID2013数据集中的不同表现可以看出，算法性能在TID2013数据集中有明显提升，而在LIVE数据集中效果提升并不大，这是由于LIVE数据集失真类型较少，导致算法在达到一定程度的性能后评价性能提升不明显，而更大、失真类型更复杂的TID2013数据集能更准确分析算法的性能效果。

为了评估本文算法的泛化能力，进行跨数据集实验，以SROCC为评价指标评估模型性能，并与主流无参考算法进行比较，如BRISQUE（dubbed Blind/Referenceless Image Spatial QUality Evaluator）［39］、BLIINDS-II（Blind Image Integrity Notator using DCT Statistics）［40］、DIIVINE［36］、CORNIA［37］、DIQaM-NR［9］等。将在整个TID2013数据集训练的模型用CSIQ和LIVE数据集进行模型性能测试，以及将在LIVE数据集训练的模型用CSIQ与TID2013数据集进行测试，结果如表3所示。在训练集和测试集的组合中，本文算法表现出中等的泛化能力。TID2013数据集的训练模型在CSIQ和LIVE数据集上的测试结果表现出良好的效果，在CSIQ数据集相较于DIQaM-NR算法的SROCC提升了4个百分点，同时也大大优于其他无参考算法。而LIVE数据集的训练模型在CSIQ与TID2013数据集上进行交叉评估时，本文算法虽优于其他无参考算法，但是这几种无参考算法在这种情况下的表现都较差，在TID2013数据集上的SROCC都无法超过0.5。这是因为TID2013数据集有24种失真类型，而LIVE数据集只有5种失真类型，二者有4种交叉失真类型，在失真类型与失真等级更多的TID2013数据集上训练的模型的泛化能力要优于LIVE数据集训练模型的泛化能力，这遵循深度神经网络的泛化能力取决于训练集大小和多样性的概念。由TID2013数据集训练模型优于LIVE数据集训练模型的跨数据集测试结果表明，更大的数据集会有更好的泛化能力。

表3 跨数据集测试中的SROCC

将本文算法在整个TID2013数据集上与现有主流算法进行比较，对数据集单一失真类型进行分析，如表4所示。与其他算法对比，本文算法明显提高了高斯模糊（Gaussian Blur， GB）、JPEG压缩（JPEG）与JPEG2000压缩（JP2K）等失真类型的性能，这说明在生成作为失真图像补偿信息的伪参考图像时，保持图像的纹理细节和清晰度的做法是有意义的。掩蔽噪声（Masked Noise， MN）和非偏心模式噪声（Non Eccentricity Pattern Noise， NEPN）失真性能的大幅提升证明了所生成的伪参考图像作为失真图像补偿信息的有效性。虽然本文算法并未大幅提高数据集中所有失真类型的性能，但是平均值相较RankIQA［4］算法仍提高了12个百分点，对于多种失真算法性能较为稳定，说明所提算法在不同失真类型中具有广泛性。

表 4 在TID2013数据集上对单个失真类型的性能比较（SROCC）

本文算法针对例如量化噪声（Quantization Noise， QN）、高斯模糊（GB）、色差（CHromatic Aberrations， CHA）与JPEG2000压缩（JP2K）等多种常见失真类型均表现出较好的效果，并且在非偏心模式噪声（NEPN）与稀疏采样和重构等（Sparse Sampling and Reconstruction， SSR）等不常见失真类型上也表现良好，因此本文算法适用于大多数失真退化的图像。然而本文算法针对不同强度的局部分块失真（Local block-wise distortions of different intensity， Block）与强度位移（Mean Shift， MS）两种失真类型表现较差，且算法在训练阶段使用了单一失真数据库，因此算法并不适用于多重复杂失真图像。图像失真类型复杂丰富，目前未出现一种算法能对所有失真类型均有优异效果，因此在保持IQA模型高性能的同时提高模型的通用性是今后的研究重点。

图3 TID2013数据库上各算法的散点图对比

此外，本文在失真类型复杂的TID2013数据集上对比了一些具有代表性度量（FSIM［31］、GMSD［33］、VSI［32］）的散点图，如图3所示的曲线是通过Logistic函数非线性拟合获得的，横坐标为客观模型预测得分，纵坐标为主观得分差异值（Mean Opinion Score， MOS），散点图反映两者的相关度。从图中可以看出，与其他算法对比，本文模型的预测得分与主观评分之间的相关性更高，表明本文所提模型性能更好，与主观质量评价更加一致。

在配备Intel Xeon Gold CPU @2.5GHz 2.49 GHz处理器、256 GB RAM和两个NVIDIA GeForce RTX 2080Ti GPU的计算机上运行几种基于深度学习的IQA算法，统计它们测试阶段在TID2013数据集上每张图像的平均运行时间，包括模型测试阶段的特征提取和回归时间。结果显示：本文算法对每幅图像的平均运行时间为0.72 s，比DIQaM-NR算法多0.43 s，本文算法虽然计算复杂度略高一点，但是在TID2013数据库中的SROCC值比DIQaM-NR算法高8个百分点，性能有明显提升。

4 结语

本文提出了一种基于显著性深层特征的无参考算法，该算法在训练阶段生成可靠逼真的伪参考图像作为失真图像的补偿信息，在一定程度上弥补了NR-IQA算法缺失参考图像的不足。本文算法在特征提取阶段利用微调的VGG16网络提取失真图与伪参考显著性图的深层语义特征并融合，映射到回归网络获取预测得分。实验结果表明，本文算法的质量预测符合人类质量感知，预测得分与人类主观质量评价具有良好的一致性。但本文的计算复杂度较高，研究更加快速简单且高效的算法是今后研究的重点方向。此外，由于图像失真类型丰富多样，针对多种失真的通用NR-IQA算法具有研究前景，提升算法模型的应用广泛性是IQA的研究重点。

）

[1] KIM J， LEE S. Deep learning of human visual sensitivity in image quality assessment framework［C］// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1969-1977.

[2] 孙荣荣. 基于灰度共生矩阵相似图的图像质量评价方法［J］. 计算机应用， 2020，40（S1）： 177-179.（SUN R R. Image quality assessment method based on similarity maps of gray level co-occurrence matrix［J］. Journal of Computer Applications， 2020， 40（S1）：177-179.）

[3] GOLESTANEH S A， KARAM L J. Reduced-reference quality assessment based on the entropy of DWT coefficients of locally weighted gradient magnitudes［J］. IEEE Transactions on Image Processing， 2016， 25（11）： 5293-5303.

[4] LIU X L， WEIJEI J van de， BAGDANOV A D. RankIQA： learning from rankings for no-reference image quality assessment［C］// Proceedings of 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 1040-1049.

[5] MIN X K， ZHAI G T， GU K， et al. Blind image quality estimation via distortion aggravation［J］. IEEE Transactions on Broadcasting， 2018， 64（2）： 508-517.

[6] SU S L， YAN Q S， ZHU Y， et al. Blindly assess image quality in the wild guided by a self-adaptive hyper network［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3664-3673.

[7] ZHANG L， ZHANG L， BOVIK A C. A feature-enriched completely blind image quality evaluator［J］. IEEE Transactions on Image Processing， 2015， 24（8）： 2579-2591.

[8] SAAD M A， BOVIK A C， CHARRIER C. Blind image quality assessment： a natural scene statistics approach in the DCT domain［J］. IEEE Transactions on Image Processing， 2012， 21（8）： 3339-3352.

[9] BOSSE S， MANIRY D， MÜLLER K R， et al. Deep neural networks for no-reference and full-reference image quality assessment［J］. IEEE Transactions on Image Processing， 2018， 27（1）： 206-219.

[10] XU P， GUO M， CHEN L， et al. No-reference stereoscopic image quality assessment based on binocular statistical features and machine learning［J］. Complexity， 2021， 2021： No.8834652.

[11] MIN X K， MA K D， GU K， et al. Unified blind quality assessment of compressed natural， graphic， and screen content images［J］. IEEE Transactions on Image Processing， 2017， 26（11）： 5462-5474.

[12] 曹玉东，蔡希彪. 基于增强型对抗学习的无参考图像质量评价算法［J］. 计算机应用， 2020， 40（11）： 3166-3171.（CAO Y D， CAI X B. No-reference image quality assessment algorithm with enhanced adversarial learning［J］. Journal of Computer Applications， 2020， 40（11）： 3166-3171.）

[13] HINT T， FISHER M， WANG O， et al. Improved techniques for training single-image GANs［C］// Proceedings of 2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2021： 1299-1308.

[14] 胡晋滨，柴雄力，邵枫. 基于伪参考图像深层特征相似性的盲图像质量评价［J］. 光电子·激光， 2019， 30（11）： 1184-1193.（HU J B， CHAI X L， SHAO F. Deep features similarity for blind quality assessment using Pseudo-reference image［J］. Journal of Optoelectronics·Laser， 2019， 30（11）： 1184-1193.）

[15] LIN K Y， WANG G X. Hallucinated-IQA： no-reference image quality assessment via adversarial learning［C］// Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 732-741.

[16] GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.

[17] ARJOVSKY M， CHINATALA S， BOTTOU L， et al. Wasserstein generative adversarial networks［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 214-223.

[18] MIRZA M， OSINDERO S. Conditional generative adversarial nets［EB/OL］. （2014-11-06）［2021-07-07］.https：//arxiv.org/pdf/1411.1784.pdf.

[19] RADFORD A， METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks［EB/OL］. （2016-01-07）［2021-07-07］.https：//arxiv.org/pdf/1511.06434.pdf.

[20] SØNDERBY C K， CABALLERO J， THEIS L， et al. Amortised MAP inference for image super-resolution［EB/OL］. （2017-02-21）［2021-07-07］.https：//arxiv.org/pdf/1610.04490.pdf.

[21] ZHANG K， GOOL L van， TIMOFTE R. Deep unfolding network for image super-resolution［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 3214-3223.

[22] SHI W Z， CABALLERO J， HUSZÁR F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network［C］// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1874-1883.

[23] GULRAJANI I， AHMED F， ARJOVSKY M， et al. Improved training of Wasserstein GANs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.

[24] KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2021-07-07］.https：//arxiv.org/pdf/1412.6980.pdf.

[25] SRIVASTAVA N， HINTON G， KRIZHEVSKY A， et al. Dropout： a simple way to prevent neural networks from overfitting［J］. Journal of Machine Learning Research， 2014， 15： 1929-1958.

[26] PONOMARENKO N， IEREMEIEV O， LUKIN V， et al. Color image database TID2013： peculiarities and preliminary results［C］// Proceedings of the 2013 European Workshop on Visual Information Processing. Piscataway： IEEE， 2013： 106-111.

[27] SHEIKH H R， SABIR M F， BOVIK A C. A statistical evaluation of recent full reference image quality assessment algorithms［J］. IEEE Transactions on Image Processing， 2006， 15（11）： 3440-3451.

[28] LARSON E C， CHANDLER D M. Most apparent distortion： full-reference image quality assessment and the role of strategy［J］. Journal of Electronic Imaging， 2010， 19（1）： No.011006.

[29] PONOMARENKO N， LUKIN V， ZELENSKY A， et al. TID2008 — a database for evaluation of full-reference visual quality assessment metrics［J］. Advances of Modern Radioelectronics， 2009， 10（4）： 30-45.

[30] WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.

[31] ZHANG L， ZHANG L， MOU X Q， et al. FSIM： a feature similarity index for image quality assessment［J］. IEEE Transactions on Image Processing， 2011， 20（8）： 2378-2386.

[32] ZHANG L， SHEN Y， LI H Y. VSI： a visual saliency-induced index for perceptual image quality assessment［J］. IEEE Transactions on Image Processing， 2014， 23（10）： 4270-4281.

[33] XUE W F， ZHANG L， MOU X Q， et al. Gradient magnitude similarity deviation： a highly efficient perceptual image quality index［J］. IEEE Transactions on Image Processing， 2014， 23（2）： 684-695.

[34] SUN W， LIAO Q M， XUE J H， et al. SPSIM： a superpixel-based similarity index for full-reference image quality assessment［J］. IEEE Transactions on Image Processing， 2018， 27（9）： 4232-4244.

[35] WANG H， FU J， HU S，et al.Image quality assessment based on local linear information and distortion-specific compensation［J］.IEEE Transactions on Image Processing， 2017， 26（2）： 915-926.

[36] MOORTHY A K， BOVIK A C. Blind image quality assessment： from natural scene statistics to perceptual quality［J］. IEEE Transactions on Image Processing， 2011， 20（12）： 3350-3364.

[37] 杨璐，王辉，魏敏. 基于机器学习的无参考图像质量评价综述［J］. 计算机工程与应用， 2018， 54（19）： 34-42.（YANG L， WANG H， WEI M. Review of no-reference image quality assessment based on machine learning［J］. Computer Engineering and Applications， 2018， 54（19）： 34-42.）

[38] MOORTHY A K， BOVIK A C. A two-step framework for constructing blind image quality indices［J］. IEEE Signal Processing Letters， 2010， 17（5）： 513-516.

[39] ALIZADEH M， SHARIFKHANI M. Subjective video quality prediction based on objective video quality metrics［C］// Proceedings of 4th Iranian Conference on Signal Processing and Intelligent Systems. Piscataway： IEEE， 2018： 7-9.

[40] LI D Q， JIANG T T， LIN W S， et al. Which has better visual quality： the clear blue sky or a blurry animal？［J］. IEEE Transactions on Multimedia， 2019， 21（5）： 1221-1234.

No-reference image quality assessment algorithm based on saliency deep features

LI Jia1， ZHENG Yuanlin1，2*， LIAO Kaiyang1，2， LOU Haojie1， LI Shiyu1， CHEN Zehao1

（1，，’，’710048，；2，’710048，）

Aiming at the universal No-Reference Image Quality Assessment （NR-IQA） algorithms， a new NR-IQA algorithm based on the saliency deep features of the pseudo reference image was proposed. Firstly， based on the distorted image， the corresponding pseudo reference image of the distorted image generated by ConSinGAN model was used as compensation information of the distorted image， thereby making up for the weakness of NR-IQA methods： lacking real reference information. Secondly， the saliency information of the pseudo reference image was extracted， and the pseudo saliency map and the distorted image were input into VGG16 netwok to extract deep features. Finally， the obtained deep features were merged and mapped into the regression network composed of fully connected layers to obtain a quality prediction consistent with human vision.Experiments were conducted on four large public image datasets TID2013， TID2008， CSIQ and LIVE to prove the effectiveness of the proposed algorithm. The results show that the Spearman Rank-Order Correlation Coefficient （SROCC） of the proposed algorithm on the TID2013 dataset is 5 percentage points higher than that of H-IQA （Hallucinated-IQA） algorithm and 14 percentage points higher than that of RankIQA （learning from Rankings for no-reference IQA） algorithm. The proposed algorithm also has stable performance for the single distortion types. Experimental results indicate that the proposed algorithm is superior to the existing mainstream Full-Reference Image Quality Assessment （FR-IQA） and NR-IQA algorithms， and is consistent with human subjective perception performance.

No-Reference Image Quality Assessment (NR-IQA); Generative Adversarial Network (GAN); saliency; deep learning; super-resolution

This work is partially supported by National Natural Science Foundation of China （61771386）， Natural Science Foundation of Shaanxi Province （2021JM-340）.

LI Jia， born in 1997， M. S. candidate. Her research interests include deep learning， image processing.

ZHENG Yuanlin， born in 1976， Ph. D.， associate professor. His research interests include color management， evaluation of quality of color image， color science.

LIAO Kaiyang， born in 1976， Ph. D.，lecturer. His research interests include machine vision， artificial intelligence.

LOU Haojie， born in 1996， M. S. candidate. His research interests include computer vision， object detection.

LI Shiyu， born in 1999. His research interests include image processing.

CHEN Zehao， born in 2002，. His research interests include image processing.

TP391.41；TN911.73

A

1001-9081（2022）06-1957-08

10.11772/j.issn.1001-9081.2021040597

2021⁃04⁃16；

2021⁃07⁃02；

2021⁃07⁃15。

国家自然科学基金资助项目（61771386）；陕西省自然科学基金资助项目（2021JM-340）。

李佳（1997—），女，四川广安人，硕士研究生，主要研究方向：深度学习、图像处理；郑元林（1976—），男，山东泰安人，副教授，博士，主要研究方向：色彩管理、彩色图像质量评估、颜色科学；廖开阳（1976—），男，湖北荆州人，讲师，博士，主要研究方向：机器视觉、人工智能；楼豪杰（1996—），男，浙江义乌人，硕士研究生，主要研究方向：计算机视觉、目标检测；李世宇（1999—），男，陕西西安人，主要研究方向：图像处理；陈泽豪（2002—），男，陕西渭南人，主要研究方向：图像处理。