基于自类推的NSCT域单幅图像超分辨率重建

程倩倩 范新南 李庆武

(河海大学计算机与信息学院 常州 213022)

1 引言

图像在获取、传输过程中，由于成像条件和天气条件的影响，使得实际图像分辨率低，质量较差。传统的插值法作用于单幅图像，由于无法利用额外信息，导致重建图像的轮廓模糊，高频信息受损。为了解决该问题，人们研究了多种自适应图像插值方法，图像质量有一定程度的提高，但边缘模糊现象仍然存在，为此人们又提出了边缘保持的自适应图像插值方法，但该方法需要消耗大量时间和存储空间，并且在干扰严重的情况下会错判边缘[1]。

图像超分辨率重建(Super-resolution Reconstruction,SR)技术[2-17]突破传统方法的束缚，利用一幅或者多幅具有互补信息的低分辨率图像来重构一幅高分辨率图像，该技术已被广泛应用于图像压缩、安全监控和遥感等领域。目前，超分辨率重建技术主要分为基于重构的[2-11]和基于学习的[12-17]两大类。基于重构的SR方法又分为频域法和空域法。相比于频域法，空域法具有更大的灵活性，最常用的有凸集投影法[8,9]和最大后验概率估计法[10,11]。基于重构的方法通常需要输入多幅图像，由于只能从输入的多幅图像中获得所需要的信息，而需要增加的信息本质上是无法预测的，故对于大的放大倍数，通常不能很好地重构图像的高频信息。2001年纽约大学的Herzmann等人[13]提出了基于学习的图像类推算法，并可以通过图像类推来实现超分辨率重建。文献[13]为了获得更准确的细节信息，采用的训练集合中的样本数量往往较大，导致算法运行速度较慢；同时由于图像的灰度值变化范围比较大，导致类推过程产生较大的误差。文献[14,15]提出采用自类推的方法来提高图像的清晰程度，该方法比一般的图像类推算法的速度快，并能够产生较为合理的细节，但是由于学习样本只有自身，超分辨率重建的图像会产生一定的人工痕迹，图像的边缘视觉过硬。文献[16]提出一种将图像类推技术与立方插值相结合的方法，该方法直接对高分辨率图像的高频细节信息进行学习，图像变清晰的同时人工痕迹也有一定程度的减少，但该算法运行速度较慢，需要合适的训练集合，可是在很多实际应用中很难获得适当的图像训练集。

NSCT[18-20]在线和超平面的奇异性表示上具有各向异性特点，不仅能将图像各频带区分开，且多向和平移不变性可以增强细节的保护能力。考虑到NSCT可以解决插值法存在的边缘轮廓模糊的问题，自类推可以解决一般图像类推算法对训练集合的依赖和速度较慢的问题，本文融合图像自类推技术[14,15,17]和NSCT[18-20]的优点，提出一种基于自类推的NSCT域单幅图像超分辨率重建方法。对标准Lena图像进行实验，并与文献[15,16]提出的方法进行比较，实验表明本文方法可以独立进行，具有较强的边缘细节保持能力，图像更逼真。

2 NSCT

由于Contourlet变换在拉普拉斯金字塔和方向滤波器中都存在下采样操作，造成Contourlet变换不具有平移不变性，不可避免地会引起伪吉布斯现象。为了消除Contourlet变换[21,22]的频谱混叠现象，增强方向选择性和平移不变性，Cunha等人[19]利用非下采样塔式分解和非下采样滤波器组构造出了NSCT。NSCT[18-20]不但具有多尺度，多方向，平移不变性和良好的空域、频域局部特性，而且各子带图像之间的尺度大小相等。NSCT由非下采样塔式分解和非下采样滤波器组两部分构成，图1给出了NSCT的分解示意图，首先通过非下采样塔式滤波器(NSP)将图像分解为低频部分和高频部分，然后由非下采样方向滤波器组(NSDFB)将高频部分分解为2的任意次幂个方向。

图1 非下采样Contourlet变换

3 图像类推

图像类推的基本思想来源于多分辨纹理合成技术，它将关键的风格映射定义为一个近似最近搜索问题，从而把风格的生成换成纹理合成[14]。

3.1 图像类推问题描述

已知一组图像A,A'和B，其中A为未经滤波的源图像，A'为源图像A滤波后的图像，B为一幅未经滤波的图像，通过学习A和A'的映射关系f，利用关系f作用在目标图像B上，从而类推出一幅滤波后的目标图像B'，记作：A：A'B：B'(f(B))，如图2所示，从视觉上看B到B'的转变类似于A到A'的转变。

图2 图像类推示意图

3.2 图像类推算法

为了达到最佳匹配搜索的目的，Hertzmann等人[13]采用邻域最佳匹配来衡量目标像素点q与源像素点p之间的差距，并且采用相似最近邻域搜索算法来加速像素的搜索匹配。为了避免在合成过程中目标图像的结构发生变化，采用高斯金字塔[16]来保持目标图像的结构。

图像类推算法流程可用以下步骤来描述：

步骤1 对源图像A，源图像A滤波后的图像A'和目标图像B进行预处理，计算像素的特征向量；

步骤2 创建A,A'和B的高斯金字塔，在B的基础上构建f(B)的高斯金字塔；

步骤3 初始化搜索算法的数据结构；

步骤4 按照金字塔的结构，从顶层到最底层，逐层逐像素点合成目标图像f(B)中的每个像素点，搜索过程中运用相邻域搜索算法进行加速，像素之间根据邻域最佳匹配原则进行匹配，最后保存目标图像f(B)。

3.3 图像自类推算法

图像类推必须依赖训练集合，但是在很多实际应用中很难获得适当的图像训练集。图像自类推[14,15]算法的优点就是不需要训练集合，完全可以独立进行。设输入图像为I，退化算子为φ，则理想的超分辨率算子为φ-1，根据图像局部结构的自相似性和可传递性[17]，可认为φ-1在相邻的尺度上是一个不变算子。通过退化模型[12]产生退化算子φ，则I与φ(I)构成了一对具有超分辨率关系的图像对，即I=φ-1(φ(I))。通过学习它们之间的关系，并将之传递给I，即可实现对I的超分辨率重建。图像超分辨率问题被转化成一个特殊的图像类推问题，其中φ(I)和I分别相当于类推问题训练集合中的A和A',φ-1是学习的风格，I同时又是待处理对象B，目标是B'=φ-1(I)。

4 NSCT域的自类推算法

4.1 低通子带系数非线性增强

对于低对比度的光学图像，其分解后的低通子带系数的模值相差较小，为了实现增强效果，需要进行灰度值的拉伸。低通子带系数关系到图像的整体对比度，包含了图像的基本信息，噪声较少。本文对低通子带系数采用归一化的非完全 Beta函数来提高整体对比度，通过调整参数z和w使图像的整体灰度过渡较为平缓。Tubbs提出的归一化非完全Beta函数[23]可以实现典型灰度变换曲线的自动拟合。归一化的非完全Beta函数定义为

4.2 算法原理框图

图3给出了基于自类推的NSCT域单幅图像超分辨率重建算法的原理框图。首先对源图像和退化图像进行多尺度、多方向的NSCT分解，得到用于学习的低通子带对和各带通方向子带对，接着通过图像自类推技术学习低通子带对与带通方向子带对之间的非线性映射关系，并将该映射关系作用于低分辨率的低通子带和各带通方向子带，得到高分辨率的低通子带和各带通方向子带，接着对高分辨率的低通子带进行非线性增强，最后经过NSCT重构得到超分辨率重建图像。

4.3 算法步骤

步骤1 设输入的源图像为I，退化算子为φ，本文φ是一个高斯模糊过程，则退化图像记作φ(I)，对I进行J级NSCT变换，得到各带通方向子带Cj,k(I)和低通子带C0(I)，接着对φ(I)也进行J级NSCT变换，得到各带通方向子带Cj,k(φ(I))和低通子带C0(φ(I))，其中1≤j≤J,1≤k≤2lj,j表示尺度，k表示带通子带方向，2lj表示尺度j上分解的方向数；

步骤2 将C0(I)和C0(φ(I))组成一对具有超分辨率关系的图像对，再将Cj,k(I)和对应的Cj,k(φ(I))构成一对具有超分辨率关系的细节图像对；

步骤3 通过自类推学习C0(I)和C0(φ(I))的映射关系f0，学习Cj,k(I)与对应Cj,k(φ(I))的映射关系fj,k；

步骤4 将映射关系f0和fj,k依次作用于C0(I)和Cj,k(I)，生成高分辨率的低通子带和高分辨率的各带通方向子带；

步骤5 对高分辨率的低通子带采用式(1)和式(2)进行非线性增强：

图3 NSCT域的自类推算法原理框图

其中C和分别是增强前和增强后的低通子带系

0数，M0是增强前的低通子带系数的最大值，k为常数(k＞1),z=7,w=10；

步骤6 对高分辨率的低通子带和高分辨率的各带通方向子带进行NSCT重构，得到超分辨率重建图像。

主要模块可用下面的伪语言进行更详细地描述：

函数：自类推(C0(φ(I)),Cj,k(φ(I),C0(I),Cj,k(I))

令A=(C0(φ(I)),Cj,k(φ(I))),A'=(C0(I),Cj,k(I)),B=(C0(I),Cj,k(I))，完成训练集合构建；

S(V)=函数基于方块的图像类推(A,A',B)；

初始化最佳能量E=MAX_E；

初始化最佳解G=NULL；

循环：从第一块至最后一块，遍历ni

循环：从最佳匹配至第k佳匹配，遍历k计算当前解G'的能量E(G')；

如果E(G')＜E

E=E(G'),G←G'

B←G

函数：基于方块的图像类推(φ(W),W,W)

对W进行分块，使W={bi}，并初始化图G，使

计算bi的中心位置pi对应的在φ(W)上的位置φ(pi)；

循环：从左上角像素至右下角像素，遍历φ(pi)的相邻搜索域；

前k个与bi距离最近的方块φ()←函数ANN(Almost Nearest Neighbour)搜索(k,bi)；

将φ()对应的W的图像块φ-1(φ())作为图案；

ni=∪;

S(V)=∏ni

5 实验结果与分析

为了验证本文方法的有效性，将本文方法与立方插值，文献[14,15]提出的自类推算法和文献[16]提出的改进的图像类推算法进行对比实验。实验中选择的图像是常用的标准测试图像Lena，图像大小为512×512。由于页面空间有限，同时为了避免丢失图像信息，只截取显示了整幅图像的四分之一，大小为256×256，如图4(a)所示。对图4(a)进行2倍下采样和高斯模糊(Hsize取为3,Sigma取为0.849)后得到本实验的源图像图4(b)；图4(c)是对图4(b)进行立方插值放大后的图像；图4(d)是对图4(b)采用文献[15]提出的基于自类推算法重建的图像；图4(e)是对图4(b)采用文献[16]提出的改进的图像类推算法重建的图像；图4(f)是对图4(b)采用本文方法重建的图像，其中NSCT分解层数为2，从低分辨率层到高分辨率层，方向分解数依次取为4和8，尺度分解采用‘9-7’滤波器，方向分解采用‘dmaxflat’滤波器。

图4 Lena图像的超分辨率重建结果图

从图4中可以明显看出，图4(c)的视觉效果最差，边缘模糊；图4(d)的边缘比图4(c)清晰，生成的细节较为合理，缺点是局部区域有块状现象，边缘视觉过硬，有明显的人工痕迹；图4(e)的人工痕迹比图4(d)有一定程度的减少，克服了局部块状现象，缺点是人工痕迹依然存在，边缘呈现轻微的锯齿状，同时视觉较硬；图4(f)的边缘比图4(e)更清晰，纹理更丰富，产生的细节更合理，人工痕迹很弱，视觉效果最佳，图像更逼真。

图5(b)是源图像的某带通方向子带(图5(b))，图5(a)是对应的退化图像的带通方向子带，图5(c)是采用本文方法重建的高分辨率带通方向子带。

为了更清晰地说明重建效果，对超分辨率重建图像的局部区域进行了放大比较，如图6所示。图6(a)和图6(b)的边缘最模糊，纹理最弱；图6(e)和图6(f)的边缘比图6(c)和图6(d)的边缘清晰，同时区域过渡自然，人工痕迹很弱，纹理信息更丰富，更逼真。如图6(d)的人脸轮廓不连续，局部区域呈现锯齿状，纹理较粗糙；图6(f)的人脸轮廓较清晰，局部纹理光滑细致，图像更逼真，分辨率更高。

图5 某带通方向子带的超分辨重建结果图

图6 超分辨重建图像的局部对比

由于目前图像超分辨率重建领域尚无统一的定量评价标准，定量评价结果只能在一定程度上说明算法的有效性。本文选用标准偏差、平均梯度和信息熵作为超分辨率重建效果的测度指标，如表1所示。通常，标准偏差越大，图像的灰度级分布越均匀，目视效果越好；平均梯度越大，图像的细节反差越大，纹理特征更为突出，清晰度较高；信息熵越大，图像的信息量越丰富。本文方法具有最高的标准偏差值和信息熵值，表明采用本文方法重建的图像灰度分布更均匀，信息量更多，目视效果更好。需要注意的是，明显的人工痕迹和过硬的边缘导致采用文献[15,16]所提算法超分辨率重建图像的梯度值较大，然而过硬的边缘与明显的人工痕迹也降低了重建图像的质量，影响了图像的逼真度。表1的定量分析与前面的主观视觉效果相一致，说明本文方法的有效性。

表1 超分辨率重建图像的质量参数

6 总结

针对单幅图像超分辨率重建中存在的问题，本文提出一种基于自类推的NSCT域单幅图像超分辨率重建方法。首先对源图像和退化图像进行NSCT分解，得到用于学习的低通子带对和各带通方向子带对，再通过尺度自类推生成高分辨率的低通子带和各带通方向子带，最后进行NSCT重构得到超分辨率重建图像。实验结果表明，该方法可以独立进行，具有较强的边缘细节保持能力，人工痕迹弱，图像更逼真。

[1]孙春凤,袁峰,丁振良.一种新的边缘保持局部自适应图像插值算法[J].仪器仪表学报,2010,31(10)：2279-2284.Sun Chun-feng,Yuan Feng,and Ding Zhen-liang.New locally adaptive image interpolation algorithm based on edge preserving[J].Chinese Journal of Scientific Instrument,2010,31(10)：2279-2284.

[2]Van Ouwerkerk J D.Image super-resolution survey[J].Image and Vision Computing,2006,24(10)：1039-1052.

[3]Tian Jing and Ma Kai-kuang.A survey on super-resolution imaging[J].Signal,Image and Video Processing,2011,5(3)：329-342.

[4]Park Sung-cheol,Park Min-kyu,and Kang Moon-gi.Superresolution image reconstruction：a technical overview[J].IEEE Signal Processing Magazine,2003,20(3)：21-36.

[5]沈焕锋,李平湘,张良培,等.图像超分辨率重建技术与方法综述[J].光学技术,2009,35(2)：194-199.Shen Huan-feng,Li Ping-xiang,Zhang Liang-pei,et al..Overview on super resolution image reconstruction[J].Optical Technique,2009,35(2)：194-199.

[6]浦剑,张军平,黄华.超分辨率算法研究综述[J].山东大学学报(工学版),2009,39(1)：27-32.Pu Jian,Zhang Jun-ping,and Huang Hua.A survey of super resolution algorithms[J].Journal of Shandong University(Engineering Science),2009,39(1)：27-32.

[7]韩玉兵,吴乐南,张冬青.基于正则化处理的超分辨率重建[J].电子与信息学报,2007,29(7)：1713-1716.Han Yu-bing,Wu Le-nan,and Zhang Dong-qing.Superresolution reconstruction based on regularization[J].Journalof Electronics＆Information Technology,2007,29(7)：1713-1716.

[8]Patti A J,Sezan M I,and Tekalp A M.Superresolution video reconstruction with arbitrary sampling lattices and onzero aperture time[J].IEEE Transactions on Image Processing,1997,6(8)：1064-1076.

[9]Patti A J and Altunbasak Y.Artifact reduction for set theoretic superresolution image reconstruction with edge adaptive constraints and higher-order interpolants[J].IEEE Transactions on Image Processing,2001,10(1)：179-186.

[10]张磊,杨建峰,薛彬,等.改进的最大后验概率估计法实现单幅图像超分辨率重建[J].激光与光电子学进展,2011,48(1)：78-85.Zhang Lei,Yang Jian-feng,Xue Bin,et al..Modified MAP algorithm for single frame super-resolution reconstruction[J].Laser＆Optoelectronics Progress,2011,48(1)：78-85.

[11]彭旭俊,张桂林.基于 Gibbs模型的提高图像分辨率方法[J].红外与激光工程,2003,32(6)：613-616.Peng Xu-jun and Zhang Gui-lin.Restoration of high resolution image based on Gibbs model[J].Infrared and Laser Engineering,2003,32(6)：613-616.

[12]乔建苹,刘琚,闫华,等.基于Log-WT的人脸图像超分辨率重建[J].电子与信息学报,2008,30(6)：1276-1280.Qiao Jian-ping,Liu Ju,Yan Hua,et al..A log-WT based super-resolution algorithm[J].Journal of Electronics＆Information Technology,2008,30(6)：1276-1280.

[13]Hertzmann A,Jacobs C E,Oliver N,et al..Image analogies[C].Proceedings of Computer Vision and Pattern Recognition,San Juan,Puerto Rico,1997：554-560.

[14]古元亭,吴恩华.基于非线性卷积的可控图像类推和自类推技术[J].计算机辅助设计与图形学学报,2008,20(3)：332-336.Gu Yuan-ting and Wu En-hua.Non-linear convolution based controllable image analogies and self analogies[J].Journal of Computer-Aided Design＆Computer Graphics,2008,20(3)：332-336.

[15]古元亭,吴恩华.基于图像类推的超分辨技术[J].软件学报,2008,19(4)：851-860.Gu Yuan-ting and Wu En-hua.Image-analogies based super resolution[J].Journal of Software,2008,19(4)：851-860.

[16]喻继业,吴炜,滕奇志,等.基于图像类推的遥感图像超分辨率技术[J].计算机应用,2010,30(1)：61-67.Yu Ji-ye,Wu Wei,Teng Qi-zhiet al..Image-analogies based super resolution for remote sensing images[J].Journal of Computer Applications,2010,30(1)：61-67.

[17]韩华,王洪剑,彭思龙.基于局部结构相似性的单幅图像超分辨率算法[J].计算机辅助设计与图形学学报,2005,17(5)：941-947.Han Hua,Wang Hong-jian,and Peng Si-long.A new superresolution algorithm for a single image based on local structure similarity[J].Journal of Computer-Aided Design＆Computer Graphics,2005,17(5)：941-947.

[18]吴炜,杨晓敏,陈默,等.基于改进的非下采样 Contourlet变换的超分辨率复原算法[J].光学学报,2009,29(6)：1493-1501.Wu Wei,Yang Xiao-min,Chen Mo,et al..Super-resolution restoration algorithms based on improved nonsubsampled Contourlet transform[J].Acta Optica Sinica,2009,29(6)：1493-1501.

[19]Cunha A L,Zhou J,and Do M N.The nonsubsampled Contourlet transform：theory,design,and applications[J].IEEE Transactions on Image Processing,2006,15(10)：3089-3101.

[20]沙宇恒,刘芳,焦李成.基于非下采样Contourlet变换的SAR图像增强[J].电子与信息学报,2009,31(7)：1716-1721.Sha Yu-heng,Liu Fang,Jiao Li-cheng.SAR image enhancement based on nonsubsampled Contourlet transform[J].Journal of Electronics＆Information Technology,2009,31(7)：1716-1721.

[21]娄帅,丁振良,袁峰.基于Contourlet变换的迭代图像复原算法[J].光学学报,2009,29(10)：2768-2773.Lou Shuai,Ding Zhen-liang,and Yuan Feng.Iterative image restoration algorithm based on Contourlet transform[J].Acta Optica Sinica,2009,29(10)：2768-2773.

[22]Do M N and Vetterli M.The Contourlet transform：an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing,2005,14(12)：2091-2106.

[23]Tubbs J D.A note on parametric image enhancement[J].Pattern Recognition,1987,20(6)：617-621.