基于结构自相似性和形变块特征的单幅图像超分辨率算法

向文 张灵 陈云华 姬秋敏

摘 要：针对单幅图像超分辨率（SR）复原样本资源不足和抗噪性差的问题，提出一种基于结构自相似和形变块特征的单幅图像超分辨率算法。首先，该方法通过构建尺度模型，尽可能地扩展搜索空间，克服单幅图像超分辨率训练样本不足的缺陷;接着，通过样例块的几何形变提升了局限性的内部字典大小;最后，为了提升重建图片的抗噪性，利用组稀疏学习字典来重建图像。实验结果表明：与Bicubic、稀疏字典学习（ScSR）算法和基于卷积神经网络的超分辨率（SRCNN）等优秀字典学习算法相比，所提算法可以得到主观视觉效果更为清晰和客观评价更高的超分辨率图像，峰值信噪比（PSNR）這种描述过于笼统，需明确说明是哪种评价指标？英文摘要处作相应修改平均约提升了0.35dB。另外所提算法通过几何形变的方式扩展了字典规模和搜索的准确性，在算法时间消耗上也得到了一定提升在算法时间消耗上平均约提升减少了时间消耗应该是“减少”吧，不能是“提升”吧？请明确。英文摘要翻译得是否正确？请明确。回复：没有问题，是减少不是提升，英文翻译没问题。80s描述过于笼统，需具体量化一下。英文摘要处作相应修改。

关键词：形变块;块匹配;字典学习;自相似性;组稀疏

中图分类号： TP391.413

文献标志码：A

Abstract： To solve the problem of insufficient sample resources and poor noise immunity for single image Super Resolution （SR） restoration， a single image super-resolution algorithm based on structural self-similarity and deformation block feature was proposed. Firstly， a scale model was constructed to expand search space as much as possible and overcome the shortcomings of lack of a single image super-resolution training sample. Secondly， the limited internal dictionary size was increased by geometric deformation of sample block. Finally， in order to improve anti-noise performance of reconstructed picture， the group sparse learning dictionary was used to reconstruct image. The experimental results show that compared with the excellent algorithms such as Bicubic， Sparse coding Super Resolution （ScSR） algorithm and Super-Resolution Convolutional Neural Network （SRCNN） algorithm， the super-resolution images with more subjective visual effects and higher objective evaluation can be obtained， the Peak Signal-To-Noise Ratio （PSNR） of the proposed algorithm is increased by about 0.35dB on average. In addition， the scale of dictionary is expanded and the accuracy of search is increased by means of geometric deformation， and the time consumption of algorithm is averagely reduced by about 80s.

Key words： deformation block; block matching; dictionary learning; self-similarity; group sparseness

0 引言

图像超分辨率（Super Resolution， SR）算法从性质上分为插值、重建和学习三类方法。现大多数现代单幅图像超分辨率方法专注于学习外部数据库中低分辨率（Low Resolution， LR）和高分辨率（High Resolution， HR）图像补丁之间的关系。现有的学习这种LR到HR的映射关系的外部数据库算法包括最近邻域方法[1]、流形学习[2]、字典学习[3]、局部线性回归[4-6]和卷积网络[7]等。然而从外部数据库学习LR/HR映射的方法有一定的缺点：首先，为达到令人满意的复原效果所需的训练图像的数量和类型并不清楚;其次，通常需要大规模训练集才能学习足够富有表现力的LR/HR词典。

为了避免使用外部数据库及其相关问题，出现了一系列基于自然图像的斑块在相同图像存在尺度内和跨尺度重现的方法[8-11]。这些方法的内部LR/HR补丁数据库可以使用给定图像本身的缩放空间金字塔来构建。与外部字典相比，内部字典已被证明包含更多相关的训练补丁[12]，这是提取内部数据库的理论基础。

采用缩放空间金字塔去提取尺度内和跨尺度的重现字块，这意味着提取了自然图像的另一个重要属性——结构自相似性。有研究表明，结构相似性可以与卷积神经网络模型联系起来达到更好的效果[13-14]，但是此算法时间复杂度过高。采用内部样例字典会出现内部数据训练样本过少而导致的训练效果不佳等问题，但是盲目地增加样本数就会增加算法的时间消耗。于是，本文针对外部数据库匹配度不高和内部训练数据样本过少两大问题，提出了一种基于结构自相似性和形变块特征的单幅图像超分辨率算法。该算法采取内部字典学习的方式，构建缩放空间金字塔，提取其结构自相似性，避免了外部字典学习的一系列问题。另外利用几何变换图像块，大幅度扩展了所搜索空间，增强字典的表现力大小，却不会产生过多的时间消耗，最后利用组稀疏学习的方式，增强了其抗噪性。

1 形变块估计模型

设Ω是输入LR图像I的像素索引的集合。对于以I中位置ti=（txi;tyi）为中心的每个目标小片P（ti），我们的目标是估计在下采样的图像ID中将P（ti）补丁映射到其最近邻居的映射目标的变换矩阵Ti。为了估计变换矩阵而不使得算法复杂性过高就必须解决密集最近邻域分片搜索形成最近邻域估计问题。这里采用一个输入LR图像中的第i个像素进行参数化的变换域。最近邻域（Nearest-Neighbor Field， NNF）估计问题的目標函数用下面的形式：

其中：θi是用于构建模型需要估计的变换矩阵Ti的未知参数集（稍后解释）。模型的目标函数包括三种能量消耗：1）呈现能量呈现能量成本Eapp;2）平面能量平面能力成本Eplane;3）尺度能量尺度能量成本Escale。下面首先描述这些成本。

1）呈现能量呈现能量成本Eapp。此成本衡量抽样目标和源补丁之间的相似程度。在RGB空间中使用高斯加权平方和距作为本文的度量：

其中：矩阵Wi是σ2=3的高斯权重，Q（ti;θi）表示使用具有参数θi的Ti矩阵变换从ID采样的块。

2）平面兼容性成本平面能力成本Eplane这两处的描述，与前面的“;2）平面能量;3）尺度能量”不匹配，请作相应调整。对于人造图像，模型通常可以使用标准的消失点检测技术可靠地定位场景中的平面，检测到的3D场景几何可以用来指导贴片搜索空间。在使用平面结构指导算法[15]中修改平面局部化代码，并添加平面兼容性代价以鼓励对源补丁和目标补丁的概率性平面标签进行搜索：

其中：Pr[mij（x;y）]是在像素位置（x;y）处分配标签mi的后验概率。

3）比例成本尺度能量成本Escale。由于允许连续几何变换，因此会观察到最近邻域通常收敛于平凡解，即在下采样图像ID中将目标补丁与自身进行匹配，这样的外观竞争成本会很小。这种平凡解的解决方案导致了图像超分辨率的传统双三次插值。通过引入规模成本尺度能量成本此处又为“规模成本”，请与前面的保持统一Escale来避免这些琐碎的解决方案：

其中SRF指示期望的超分辨率重建因子，例如2x、3x或4x，并且函数Scale（·）表示投影变换矩阵的尺度估计。函数模型用一阶泰勒展开式近似地描述了用Ti进行采样的源块尺度[16]：

其中：Tu，v表示变换矩阵Ti中的第u行第v列的值，T3，3归一化为1。直观地说，如果源补丁的规模太小，模型会受到惩罚，因此，方法最大化地搜索与目标贴片相似的源贴片，同时在输入LR图像空间中具有更大的比例尺，因此能够为图像超分辨率提供更多的高频细节。当源补丁的规模足够大时，将惩罚阈值降为零。

2 组稀疏理论

组稀疏理论使用所有的补丁对来学习一个字典与它们的稀疏组，以捕获所有的高分辨率或低分辨率补丁之间的关系。

为了训练这个词典，首先从低分辨率的补丁和类似于文献[17]的高分辨率补丁中提取特征。从低分辨率片中提取的特征是沿着水平和垂直轴的两个一阶图像梯度和两个二阶图像梯度，即[1，0，-1]、[1，0，-1]、[-1，0，2，0，-1]、[-1，0，2，0，-1]。对于每个高分辨率片，每个特征向量是通过减去该片的平均值之后像素值的光栅扫描形成的。

对于每个高分辨率/低分辨率补丁对，组成一个级联特征向量。由于低分辨率贴片特征和高分辨率贴片特征的尺寸不同，为了平衡它们的贡献，在将它们连接成单个矢量之前，将两个特征矢量独立地归一化。所有级联的特征向量用单位范数向量标准化，以用于具有组稀疏性约束的字典学习。

由于特征设计，有可能高分辨率特征向量和低分辨率特征向量都为零。在这种情况下，这些特征向量被丢弃。

为了利用块对之间的组相似度，通过K均值聚类将具有相似特征向量的对分组为聚类。选择的特征是由低分辨率补丁生成的图像梯度。

用给定的字典D，解决和式（6）求解“解决”二字放在这里不通顺，请作相应调整每个群集Ui的群组稀疏系数：

其中‖A‖1，2这个表达式，是否应该改为||A||1，2（1，2为下标），即与式（6）的书写保持一致？回复：下标1，2放在双竖线外面;另外，这里公式没有i，上面已经说过i是用来标记群组的，所以对于单个群组用下面公式已经可以描述清楚了，每个群组按这个解释公式执行即可。=∑nk=1‖RK‖2和RK是A稀疏的第k行;Yi是簇Ui中的列方向特征向量，ni是Yi的列号;‖*‖F是Frobenius范数，并且δ是控制从原始特征向量构造重建特征向量的相似程度的阈值。使用SPGL1包来解决上述优化问题。

由于群组稀疏系数在分离聚类内求解，并且在求解上述式（5）之前给出字典，需要更新字典以进行全局优化。于是将A表示为所有系数Ai和Y的并集，作为所有特征向量Yi的并集。字典D由K次迭代的奇异值分解（Singular Value Decomposition of K iterations， K-SVD）算法[18]更新：

其中Dj是D的第j列。迭代求解式（6）和式（7）中的组稀疏系数，直到A和D都收敛。字典D和系数A的乘积不仅包含每个集群内的所有集群，还包含所有集群内由块相似性产生的特征向量。使用这些特征向量来生成输出的高分辨率图像。

3 基于结构自相似性和形变块特征的SR算法

3.1 资源块获取

3.1.1 资源块的结构自相似性特征提取

给定一个低分辨率图像I，首先对它进行模糊和二次采样以获得其n层的下采样版本，设置n为6。为方便表述，只用2层结构来表述，则命名为ID1和ID2。

使用I、ID1和ID2，获得高分辨率图像IH的算法由以下步骤组成：

1）对于低分辨率图像I中的每个补丁P（目标补丁），计算一个变换矩阵T（单应矩阵），将P缩减为下采样图像ID1和ID2中的最佳匹配补丁Q1或者Q2（源补丁），如图1所示。为了获得这种变换的参数，使用修改的块匹配算法估计I和ID1或者I和ID2之间的最近邻域（详见第1章—形变块估计模型）。

2）然后从图像I中提取QH1或者QH2，这是源补丁Q1或者Q2的HR版本。

3）使用计算出的变换矩阵T的逆矩阵来“逆转换”高分辨率补丁QH1或者QH2，以獲得自我评估PH1或者PH2值，这是估计的目标贴片P的HR版本。将PH粘贴在HR图像IH中对应于LR补丁PH1或者PH2。

4）对所有目标贴片重复上述步骤以获得高分辨率图像IH的补丁块估计。

根据公式exp（-‖P-Qk‖2/σ2）的相似性来计算目标补丁P和源补丁Q之间的相似程度来给予匹配的源补丁相应的权重以平均重叠的高分辨率片，其中σ控制相似度。本文规定每个目标补丁P匹配4个源补丁Q，如果搜索不到用0来表示。在这里由于图片的不同会导致匹配搜索得到的字典大小也不一样，故本文将字典的训练样本数量设定为100000个5×5的小块。

3.1.2 资源块的形变块特征提取

已有研究[9]证明：如果允许适当的补丁的几何变换，跨尺度的自相似性将会更好，于是便对资源块进行形变并提取了资源块的形变特征。

现在介绍如何根据估计的参数θi设计和构造变换矩阵Ti以对源补丁Q（ti;θi）进行采样。通常，贴片的几何变换可具有多达8个自由度（即投影变换）;然而本文采用的仿射变换本身在模拟人造图像、结构化场景中的外观变化方面效果较差。在本文算法中，检测和局部化平面来计算平面化参数，如图2所示，展示了消失点检测的可视化，所以本文通过θi=（si;mi）来参数化Ti，其中si=（sxi;syi;ssi;sqi;sai;sbi）是6维的仿射运动参数，mi是检测到平面的指数[16]。

其中矩阵H捕获了目标和源补丁位置以及平面参数的透视变形。下面给予矩阵S和矩阵A的表达形式，矩阵S通过缩放参数ssi和2×2旋转矩阵R（sθi）捕获相似变换：

矩阵A捕获仿射变换中的剪切映射：

所提出的组合变换模型类似于将投影变换矩阵经典分解为三个独特矩阵的串联：相似性、仿射性和纯粹的透视变换。

这里提出的方法是一个通用的图像超分辨率算法，在一个框架中处理人造和自然场景。另外，对于没有任何检测到的平面结构的情况下，本文算法自动退回到仅搜索仿射变换的自我示例的图像超分辨率块匹配算法。

本文方法的目标是“合成”，而不是“分解”用于采样源补丁的变换Ti。所提出的式（8）可以有效地分解出目标ti和源块位置（sxi;syi）的位置依赖，以估计H（ti;sxi;syi;mi），并且可以使用（ssi;sqi;sai;sbi）估计矩阵S和A的仿射形状变形参数，那么就可以利用自然图像中的分段平滑特征来进行有效的最近邻域估计。

本文方法需要估计所有重叠目标片上的7维最近邻域解。与传统的基于自我样本的方法相比，只需要估计2D平移场，本文方法式（8）中的解空间更难以搜索，因此本文方法在以下详细步骤中修改了块匹配[21]算法。

初始化 本文方法不是在块匹配[18]中进行随机初始化，而是使用零位移初始化最近的邻域，并且缩放等于所需的超分辨率重建因子。这受到文献[22]的启发，表明良好的匹配块通常可以在局部的区域中找到，发现这个初始化策略为更快的收敛提供了一个好的开始。

传播 这一步有效地向邻居传播良好的匹配。与直接传播变换矩阵Ti相反，传播变换矩阵的参数Qi=（si;mi），以便仿射形状变换对源补丁位置不变。

随机化 在每次迭代中传播后，执行随机搜索以改进当前解决方案;同时根据后验概率分布绘制平面指数的随机样本，随机扰动仿射变换和随机样本位置（以粗到细的方式）来搜索源补丁的最佳几何变换并减少匹配误差。

3.2 资源块的分类学习

用形变块匹配后的资源块，将对资源块来进行分类学习：一类用来构建高分辨率字典;一类则用来系数学习。

高分辨率字典 这里将利用到字典资源块对，字典资源块对是由变换矩阵T的逆矩阵来“逆转换”高分辨率补丁的PH值和低分辨率补丁P值组成。首先，利用组稀疏理论中的处理将字典资源块对进行聚类处理，如图3所示;然后，利用K-SVD[18]算法来学习得到高分辨率字典。

稀疏学习 这里将利用到形变资源块对，形变资源块对由变换矩阵T形变的高分辨率补丁QH值和变换矩阵T形变的低分辨率补丁Q值组成。这里直接利用组稀疏理论对形变资源块对进行组稀疏处理。对于每个高分辨率/低分辨率补丁对，组成一个级联特征向量。在将它们连接成单个矢量之前，将两个特征矢量独立地归一化。所有级联的特征向量用单位范数向量标准化，以用于具有组稀疏性约束的字典学习。通过K均值聚类将具有相似特征向量的高低分辨率块对分组。最后，用式（6）和式（7）迭代求解组稀疏系数A。

3.3 算法流程

本文提出的结构自相似性道德神经网络算法本文提出的结构自相似性和形变块特征的超分辨率算法此句不通顺，“道德”二字是否应该删除？具体步骤如下：

步骤1 输入外部数据库中的高分辨率图像，将其尺度缩小，获得n层低分辨率图像，构建尺度金字塔。

步骤2 利用变换矩阵T，对尺度金字塔进行形变。

步骤3 利用形变块匹配算法进行块匹配，具体可见3.1节。

步骤4 提取PH/P字典资源块对进行聚类，利用K-SVD[18]字典学习构建高分辨率字典。

步骤5 提取QH/Q资源块对进行聚类，利用式（6）和式（7）进行组稀疏系数学习。

步骤6 利用高分辨率字典和组稀疏系数来超分辨率重建。

3.4 算法示例

为了更加清晰、明确地说明本文算法，给出算法流程，如图4所示。

3.5 实验设置

为了验证所提方法的有效性，选取四个国际公开的SR数据库：Set5、Set14、BSD100和Urban100，这四个数据库非常地具有代表性，前三个数据库是比较通用的数据库含有人物、动物、植物、建筑等标志性的图片，可以很直观地展现通用图片的复原能力，而第四个数据库Urban100数据库都是建筑类图片有明显的结构性能。这四个数据库的选择能充分展示出本算法的优劣，并在两种常用放大因子（2和4此句表述不一致，“2和4”是表示三种情况呢？还是表示放大因子？都需要三种情况（不大于3，而4>3？）或三个因子值吧？请作相应调整。回复：这里改成两种吧，原本是想用三种的，但是在三倍放大中遇到了点小麻烦，就没有放上去。）情况下进行实验验证。实验中以双三次插值（Bicubic）方法作为基准对比方法，并选择Kim等[23]提出的算法、稀疏字典学习（Sparse coding Super Resolution， ScSR）[3]和基于卷积神经网络的超分辨率（Super-Resolution Convolutional Neural Network， SRCNN）[7]这三个典型的字典学习算法作为对比实验，以检验本方法的重建性能。利用主观视觉上的表现，数值上的峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）和结构相似性（Structural SIMilarity， SSIM）评价不同图像超分辨率方法的性能。

3.6 实验结果

通过实验结果来验证本文方法的有效性。为了评价图像重建的质量，同时从主观视觉和客观评价两个方面衡量对比结果。以数据库Set5中的娃娃图像为例，图5为放大2倍情况下，不同方法的主观视觉图和相应峰值信噪比，图5的四张图片是从四个数据库中分别随机抽取的一张作为代表显示。主观上，可以看出本文方法的视觉效果最好，优于现有方法中的稀疏字典方法ScSR[3]、Kim等[23]算法和SRCNN算法[7];其他对比方法，在重构的图像容易产生伪影效应，一些细节没有较好地恢复出来。本文方法恢复的局部细节信息清晰细腻，整体效果更接近原始图像。由于本文方法考虑了内在图像块结构自相似特性，因此恢复的视觉效果最好，产生的边缘也更清晰。客观指标评价上，本文是从四个数据库中所有图片的峰值性噪比（PSNR）的平均值按不同的尺度显示如表1中所示，在Set5数据库中放大2倍的情況下，双三次插值方法的平均峰值信噪比最低，只有33.64dB，对比SRCNN算法只能36.28dB左右，本文方法在峰值信噪比上是最好的，能够达到36.52dB。从四个数据库中所有图片SSIM的平均值按不同的尺度显示如表21中所示，相比其他算法本文方法的SSIM值最大，说明本文算法失真最少，与原图片最相似，而对于另一种结合结构自相似性和卷积网络的单幅图像超分辨率算法[13]，视觉效果上差距不大故没有作出主观效果图的对比，但是时间复杂度上减少了不少。比起时间消耗，结合结构自相似性和卷积网络的单幅图像超分辨率算法平均消耗时间为120s，本文算法平均时间为40s。

另外，对比Urban100数据库和其他三个数据库发现：在Urban100数据库中，本文方法比SRCNN方法平均高0.75dB，而其他三个数据库平均只提升了0.25dB，因此在Urban数据库中的重建效果更加优秀，也就说明此方法对于各类图片都有一定的效果，尤其是建筑等结构性比较明显的图片重建效果更好。

4 结语

本文算法从块形变的角度来考虑单幅图像的超分辨率问题，提出了一种基于结构相似性和形变块特征单幅图像超分辨率重建算法。该算法通过图像的尺度分解获得自身结构相似性特征和通过块变换提取形变块特征，避免了使用外部数据库出现的数据类型和数量不清楚等一系列相关问题。资源块数据通过字典资源块和形变块资源分类处理，利用不同的约束来学习得到高分辨率字典和组稀疏系数，增强了图像的抗噪性。本文算法与Bicubic、Kim等[23]算法、ScSR[3]算法和SRCNN[7]等经典算法相比，可以得到更好的超分辨率重建效果。这种方法虽然提高了抗噪性，在时间复杂度上也得到了不少提高，但是面对不同的图片上会存在不同的表现，在实验中发现，这种结构性的方法会在建筑等结构性比较明显的图片上重建效果更好，因此，如何去针对不同类型的图片进行提高重建效果便成了进一步的研究方向。

参考文献 （References）

[1] FREEMAN W T， JONES T R， PASZTOR E C. Example based super resolution [J]. IEEE Computer Graphics and Applications， 2002， 22（2）：56-65.

[2] CHANG H， YEUNG D Y， XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004： I-275-I-282.

[3] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution via spare representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2861-2873.

[4] YANG C Y， YANG M H. Fast direct super-resolution by simple functions[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 561-568.

[5] TIMOFTE R， SMET V， GOOL L. Anchored neighborhood regression for fast example-based super-resolution[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2013： 1920-1927.

[6] TIMOFTE R， SMET V， GOOL L. A+： adjusted anchored neighborhood regression for fast super resolution[C]// Proceedings of the 2014 Asian Conference on Computer Vision. Berlin： Spring， 2014： 111-126.

[7] DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）： 295-307.

[8] MEHRAN E， VRSCAY E R. Solving the inverse problem of image zooming using “Self-Examples”[M]// Image Analysis and Recognition. Berlin： Springer， 2007： 117-130.

[9] GKASNER D， BAGON S， IRANI M. Super-resolution from a single image[C]// Proceedings of the 2009 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 349-356.

[10] FREEDMAN G， FATTAL R. Image and video upscaling from local self-examples [J]. ACM Transactions on Graphics， 2011，30（2）：1-11.

[11] SINGH A， AHUJA N. Super-resolution using sub-band self-similarity [C]// ACCV 2014： Proceedings of the 2014 Asian Conference on Computer Vision. Berlin： Springer， 2014：552-568.

[12] ZONTAK M， IRANI M. Internal statistics of a single natural image[C]// CVPR 11： Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011：977-984.

[13] 向文，張灵，陈云华，等.结合结构自相似性和卷积网络的单幅图像超分辨率[J].计算机应用，2018，38（3）：854-858.（XIANG W， ZHANG L， CHEN Y H， et al. Combined with structural self-similarity and convolution of a single image super resolution[J]. Journal of Computer Applications， 2018， 38（3）： 854-858.）

[14] 肖进胜，刘恩雨，朱力，等.改进的基于卷积神经网络的图像超分辨率算法[J].光学学报，2017，37（3）：103-111.（XIAO J S， LIU E Y， ZHU L， et al. Improved image super-resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica，2017，37（3）：103-111.）

[15] HUANG J B， KANG S B， AHUJA N， et al. Image completion using planar structure guidance [J]. ACM Transactions on Graphics， 2014， 33（4）：1-10.

[16] FREEMAN W T， JONES T R， PASZTOR E C. Example-based super-resolution [J]. IEEE Computer Graphics & Applications， 2002， 22（2）：56-65

[17] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution as sparse representation of raw image patches[C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2008：1-8.

[18] AHARON M， ELAD M， BRUCKSTEIN A. K-SVD： an algorithm for designing overcomplete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing， 2006， 54（11）：4311-4322.

[19] DARABI S， SHECHTMAN E， BARNES C， et al. Image melding： combining inconsistent images using patch-based synthesis[J]. ACM Transactions on Graphics， 2012， 31（4）：1-10.

[20] HACOHEN Y， FATTAL R， LISCHINSKI D. Image upsampling via texture hallucination[C]// Proceedings of the 2010 IEEE International Conference on Computational Photography. Piscataway， NJ： IEEE， 2010：1-8.

[21] BARNES C， SHECHTMAN E， FINKELSTEIN A， et al. PatchMatch：a randomized correspondence algorithm for structural image editing[J]. ACM Transactions on Graphics， 2009， 28（3）：1-11.

[22] YANG J， LIN Z， COHEN S. Fast image super-resolution based on in-place example regression [C]// Proceedings of the 2013 Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013：1059-1066.

[23] KIM K I， KWON Y. Single-image super-resolution using sparse regression and natural image prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010，32（6）： 1127-1133.