局部方差在图像质量评价中的应用

王宇庆

(中国科学院长春光学精密机械与物理研究所，吉林长春130033)

1 引言

评价各种图像处理装置或算法性能的途径之一是评价其输出图像的质量，已有的图像质量评价方法可以分为主观评价方法和客观评价方法［1］。前者通过人眼的主观观测给出图像质量的评价结果，虽然与人眼视觉特性的一致性较好，但是存在过程复杂、耗时长，可移植性差，测试结果不稳定等缺点。后者依据模型或者算法给出量化的评价结果，是目前图像质量评价领域的研究重点。均方误差(Mean Square Error，MSE)和峰值信噪比(Peak Signal to Noise，PSNR)是2种常用方法，由于没有考虑人眼视觉特性，这2种方法在实际应用中经常出现评价结果与人的主观感觉不一致的情况。因此，大量新的评价方法相继出现，Wang等人提出的结构相似度(Structure Similarity，SSIM) 方法［2-3］，以及模拟人类视觉系统(Human Visual System，HVS)特性的方法［4-11］，和基于小波变换的图像质量评价方法［12］等均得到了广泛应用，但这些方法虽然以不同方式在不同程度上克服了传统MSE和PSNR方法的不足，却仍普遍存在着评价结果与人的主观感知不一致的问题。

本文将灰度图像的局部方差分布(QLS)作为表征图像结构信息的一个重要特征，对局部方差分布矩阵进行奇异值分解，通过计算降质图像与原参考图像局部方差矩阵奇异值特征向量的夹角来度量两图像结构的相似度，从而实现了对降质图像的质量评价。实验证明，所提出的QLS方法优于传统方法。

2 局部方差分布与奇异值分解

人眼对图像的高频分量比较敏感，图像的细节也主要由高频分量决定，图像的局部方差能够较好地描述图像的细节信息，所以可以将图像的局部方差作为分析图像内容信息的一种方法，或者也可以认为图像的局部方差分布包含了图像的某些重要结构信息［13-14］。文献［13］研究了图像的局部方差分布，采用SSIM方法，通过对图像局部方差分布的统计实现了对2幅图像结构相似性的度量，该方法对模糊失真的敏感程度极高，克服了传统方法对模糊失真敏感程度低的缺点。

用Var(Ix，y)表示图像I(灰度图像)的局部方差，即以图像点(x，y)为中心的局部区域方差。对于彩色图像，需要将其转换为YUV空间，用Y分量计算其局部方差。采用滑动窗口对图像进行互不重叠的分块，得到其中每一分块的方差，也就是图像的局部方差。对于包含L个像素的图像分块Ix，y，用ηp表示其内部像素，局部方差可以表示为:

由于分块方式对图像结构会产生一定影响，对于包含在分块Ix，y内的像素 ηp，采用文献［3］中提到的高斯加权方法计算每一分块内像素的均值和方差:

由以上方法可以得到对应于1幅灰度图像I的局部方差分布矩阵，该矩阵表征了图像的某些HVS敏感的重要结构特征。局部方差分布对于模糊失真的敏感程度较高，但是并不能突出表征其余失真类型对图像质量的影响。矩阵奇异值特征向量能够描述矩阵的主要能量特征，虽然不能直接描述图像的结构特征，但是由于局部方差的分布突出表征了图像的细节信息，对于细节信息分布的能量特征描述可以作为度量图像结构相似度的一种指标。因此，通过对2个局部方差矩阵结构相似程度的度量就可以实现对2幅图像结构相似度的度量，继而得到对于待测图像的质量评价结果。矩阵的奇异值特征向量表征了矩阵的能量特征，可以用特征向量的相似性度量2个矩阵

式中:“◁”表示共轭转置;Σr=diag(σ1，σ2，…，σr)，A的奇异值 σi(1≤i≤r)为实数，U，V分别称为矩阵A的左、右奇异值矩阵。U∈HN×M，V∈HM×M。矩阵A的奇异值特征向量x=(σ1，σ2，…，σr，0，…，0)T。这样，1 幅N×M的图像的结构特征就可以用相应的局部方差矩阵表示。矩阵奇异值分解得到的奇异值特征向量表示了其能量特征。对于2幅图像的奇异值特征向量x和x^，其夹角可以用来描述了2个向量的相关程度，夹角越小，说明相关程度越高，也是对2个向量张成的空间的相关程度的度量［15］。采用类似于文献［15］的方法度量2幅图像的结构相似程度，从而实现了对待测图像的质量评价。对于参考图像I和待测图像I^，评价指标QLS可以表示为:的结构相似程度。

对于任意一个秩为r的矩阵A∈RN×M，则存在2个酉矩阵U，V，使得:

式中，σi，σ^i为2幅图像局部方差分布矩阵奇异值特征向量中的元素。QLS的取值范围为［0，π/2］，数值越小，说明降质图像与参考图像的结构越相似。

3 实验结果

为了验证本文所提方法的有效性，实验中采用了2组测试图像:图1(a)～(f)为第1组，图1(a')～(f')为第2组。图1(a)和图1(a')为原图像，采用JPEG2000压缩，噪声污染，模糊，以及与常数相加等方法分别得到了5幅降质图像，具体参数为:图1(b)和(b')采用文献［16］的方法得到，压缩率为 0.383 08 bit/pixel，图1(b')为0.949 12 bit;图1(c)和(c')为在参考图像中添加密度为0.3的高斯白噪声所得到的噪声污染图像;图1(d)和(d')为采用23×23的窗口对原图像均值滤波得到的模糊图像;图1(e)和(e')为采用9×9的窗口对原图像均值滤波得到的模糊图像;图1(f)和(f')为原图像与常数8相加得到的图像。

采用 MSE、PSNR、SSIM、直接评价图像矩阵的SVD方法［15］，以及QLS方法分别评价图像质量，评价结果如表1所示。

表1 采用多种评价方法对图1中各降质图像的评价结果Tab.1 Comparison of distorted images in Fig.1 by different methods

图1 多种失真类型的降质图像Fig.1 Distorted images with several types of distortion

严重模糊会导致图像细节的大量损失，对图像质量造成严重影响，根据人的主观观察，图1(d)和(e)的像质明显差于其余图像。根据表1的评价结果，在列举的各种评价方法中，QLS方法对图1(d)和(e)给出了较差的评价结果，其中图1(e)的质量要略好于图1(d)，QLS对图1(e)的与常数相加的像质明显偏低。显然，本文所提出的QLS方法与人眼的主观观测完全一致。

4 结论

本文将局部方差分布作为表征图像结构信息的一种载体，通过对2幅图像局部方差分布矩阵进行奇异值分解，计算奇异值特征向量夹角的大小实现了对2者结构相似程度的度量，从而实现了对降质图像的质量评价。多种失真类型的降质图像测试实验表明:本文所提的QLS方法比传统的MSE、PSNR、SSIM以及直接评价图像像素分布的SVD方法更加符合人的主观感知效果。

［1］ESKICIOGLU A M，FISHER P S.A survey of image quality measures for gray scale image compression［C］.Proceeding of 1993 Space and Earth Science Data Compression Workshop，San Diego，USA，1993.

［2］WANG ZH，BOVIK A C.A universal image quality index［J］.IEEE Signal Proc.Let.，2002，9(3)：181-184

［3］WANG ZH，BOVIK A C，SHEIKH H R，et al..Image quality assessment：from error visibility to structural similarity［J］.IEEE T.Image Process.，2004，13(4)：600-612

［4］LEE Y H，PARK S Y.A study of convex concave edges and edge-enhancing operators based on the Laplacian［J］.IEEE T.Circuits Syst.，1990，37(7)：940-946.

［5］RAMPONI G.A cubic unsharp masking technique for contrast enhancement［J］.Signal Process.，1998，67(2)：211-222

［6］袁晓松，王秀坛，王希勤.基于人眼视觉特性的自适应的图像增强算法的研究［J］.电子学报，1999，27(4):63-65.YUAN X S，WANG X T，WANG X Q.An adaptive image enhancement algorithm based on human visual properities［J］.Acta Electronica Sinica，1999，27(4):63-65.(in Chinese)

［7］SEZAN M I，YIP K-L，DALY S J.Uniform perceptual quantization:application to digital radiography［J］.IEEE T.Syst.，Man Cyb.，1987，17(4):622-634.

［8］JING XING.An image processing model of contrast perception and discrimination of the human visual system［C］.2002 International Symposium Society for Information Display，Boston，Massachusetts，USA，May 2002.

［9］BARNI M，BARTOLIN I F，ROSA A De.HVS modelling for quality evaluation of art images［C］.IEEE 14th International Conference on Digital Signal Processing，Santorini，Greece，July 2002.

［10］WESTEN S J P，LAGENDIJK R L，BIEMOND J.Perceptual image quality based on a multiple channel HVS model［C］.IEEE 1995 International Conference on Acoustics，Speech，and Signal Processing，Detroit，MI，USA，1995.

［11］FERNANDEZ-MALOIGNE C，LARABI M-C，BRINGIER B，et al..Spatio-temporal characteristics of the human color perception for digital quality assessment［C］.IEEE Signals，Circuits and Systems ISSCS 2005 International Symposium，New York，USA，14-15 July 2005.

［12］BEGHDADI A，PESQUEST-POPESCU B.A new image distortion measure based on wavelet decomposition［C］.IEEE 1995 International Conference on Acoustics，Speech，and Signal Processing，Paris，France，2003.

［13］AJA-FERNANDEZ S，ESTEPAR R S J，ALBEROLA-LOPEZ C，et al..Image quality assessment based on local variance［C］.Proceedings of 28th IEEE EMBS Annual International Conference.New York，USA，2006.

［14］GONZALEZ R C，WOODS R E.Digital Image Processing［M］.New York:Addison-Wesley，1992.

［15］骞森，朱剑英.基于奇异值分解的图像质量评价［J］.东南大学学报(自然科学版)，2006，36(4):643-646.QIAN S，ZHU J Y.Image quality measure using singular value decomposition［J］.J.Southeast University(Natural Sci-评价结果也好于图1(d)，这与人的主观感觉相一致。而SSIM方法因为对于模糊失真的敏感程度较低，因此没有正确评价不同模糊程度的图1(d)和(e)，对于图1(e)的评价结果好于图1(b)，这显然与人的主观感觉不符。传统的MSE和PSNR方法对于图1(d)和(e)的评价结果要好于(c)，对于图1(d)所给出的评价结果要好于(e)，这同样与人的主观感觉不一致。而QLS方法对于上述降质图像的质量则给出了正确的排序，即像质排序由好到差为:图1(f)，(b)，(c)，(e)，(d)。同样，另一组测试图像的质量排序为:图1(f')，(b')，(c')，(e')，(d')，而 MSE 和 PSNR 方法对该组图像的评价结果并不准确。SVD方法评价ence Edition)，2006，36(4):643-646.(in Chinese)

［16］TAUBMAN D S，MARCELLIN M W.JPEG2000:Image Compression Fundamentals，Standards，and Practice［M］.Norwell:Kluwer，2001.