基于特征增强注意力机制的人脸超分辨率算法

许若波，李阳

（江苏信息职业技术学院物联网工程学院（信息安全学院），江苏无锡 214153)

0 引言

人脸超分辨率技术是指利用计算机信息技术将低分辨率人脸图像恢复至清晰的高分辨率人脸图像。人脸超分辨率技术应用在多个领域，例如，它能够作为基础任务应用在人脸检测和人脸识别等领域。近年来，出现了众多图像超分辨率算法，分为基于传统的图像超分辨率算法与基于深度学习的超分辨率算法，其中基于深度学习技术的超分辨率算法在近几年得到了快速的发展。例如，Dong 等人[1]提出了使用3层卷积神经网络恢复低分辨率图像(SRCNN)，与基于传统的图像超分辨率算法相比较，SRCNN在客观评估指标方面获得了较大的提升；Kim 等人[2]提出了利用更深层次的残差网络学习图像的残差信息(VDSR) ；Dai 等人[3]提出了一种深度二阶注意力网络(SAN)，所提出的二阶通道注意力模块，更加有利于网络学习特征之间的相关度；Zhang等人[4]提出了一种基于混合高阶注意力网络(MHAN)，该算法分为两个子任务，分别是特征提取和恢复重要细节任务，最终重建出清晰的高分辨率图像。

本文算法的主要核心是采用深度残差网络与特征增强注意力机制相结合的方式自适应增强重要的特征，首先采用特征提取模块将输入的人脸图像转化为多通道的特征图像，然后采用特征增强注意力机制模块选择性地恢复有用的人脸高频细节信息，最后采用重建模块获取高分辨率人脸图像。

1 相关知识

在2017 年，Ledig 等人[5]提出了一种生成对抗网络，获得了逼真的主观视觉效果，其中它的生成网络是由多个残差块组成的深度残差网络，因此深度残差网络在图像超分辨率重建任务中也获得了广泛的应用；近年来也出现了众多采用注意力机制提升网络性能的算法，例如Hu 等人[6]提出了一种SENet 结构的注意力机制，可以自适应地重新校准通道特征响应。同时SAN 与MHAN 图像超分辨率算法在网络中也加入了注意力机制并获得了良好的重建效果。因此本文重点采用深度残差网络与特征增强注意力机制相结合的方式完成人脸图像的重建任务，其中特征增强注意力机制可以自适应增强人脸高频细节信息。

2 基于特征增强注意力机制的人脸超分辨率算法

本文提出的基于特征增强注意力机制的人脸超分辨率网络结构如图1所示。该网络结构分为3个模块，分别是特征提取模块、特征增强注意力机制模块和重建模块。其中特征提取模块用于将输入的人脸图像转化为多通道的人脸特征图像，特征增强注意力机制模块用于自适应恢复人脸高频细节信息，重建模块用于重建高分辨率人脸图像。

图1 基于特征增强注意力机制的人脸超分辨率网络结构

2.1 特征提取模块

特征提取模块主要是为了将输入的彩色图像转换为含有多个特征通道的人脸特征图像，所输出的人脸特征图像作为下一步特征增强注意力机制模块的输入。

特征提取模块网络结构如图1所示。由单个卷积层和ReLU 激活函数层串联组成，其中卷积层的卷积核大小为3×3，输出256个通道特征图。特征提取模块的输出作为特征增强注意力机制模块的输入，因此特征提取模块输出特征图操作为：

2.2 特征增强注意力机制模块

特征增强注意力机制模块是本文算法的核心模块，该模块能够利用残差块提取特征的同时，自适应选择重要的特征，特征增强注意力机制模块共包含12个子模块，每个子模块均采用了残差块与注意力机制相结合的结构，以此来自适应增强人脸图像的高频细节信息。

特征增强注意力机制模块专注于自适应学习特征通道之间的相关性，因此可以增强人脸图像的高频细节信息，如图1所示，该模块中的子模块网络结构由残差块和注意力机制组成，其中残差块由2对卷积层与ReLU 激活函数层串联组成，卷积核大小均为3×3，输出256 个通道特征图。因此，特征增强注意力机制模块第1个残差块提取特征操作为：

注意力机制能够自适应地将重要特征进行提纯，获取有用的特征，淡化无用的特征。其网络结构首先由1个卷积层与1个BN层串联组成，为了保留重要的特征，将卷积层的卷积核大小设置为1×1，同时为了保证注意力机制在训练过程中的稳定性，因此加入了BN层；其次设计并行的分支结构，其中一条分支由平均池化层、全连接层、ReLU激活函数层和全连接层组成，另一条分支由最大池化层、全连接层、ReLU 激活函数层和全连接层组成；然后将两条分支的输出分别进行加权相乘；最后将加权后的结果相加并输入至Sigmoid 激活函数层，因此注意力机制输出重要权重系数操作为：

其中，Conv_BN(·)表示卷积操作和批规范化操作，Avgpool(·)表示平均池化操作，Maxpool(·)表示最大池化操作，它们均表示压缩输入特征映射的空间维度，使其具有全局的感受野，压缩后表示为1×1×C，C表示通道数量，∂(·)表示串联组成的全连接层操作、ReLU激活函数层操作和全连接层操作，第1个全连接层操作表示特征压缩，提纯重要的特征信息，表示为1×1×(C/m)，m表示倍数，m设置为16，第2 个全连接层操作将压缩后的特征数量升至原来的数量，表示为1×1×C，其中a和b表示权重系数，均设置为0.5，SigmoidATTN(·)表示激活函数操作表示生成的自适应权重系数。

生成的自适应权重系数与残差块提取的特征进行相乘操作，则可以增强重要的特征，并将结果与进行短跳跃连接操作，因此特征增强操作表示为：

特征增强注意力机制模块共含有12个子模块，因此特征增强注意力机制模块输出操作为：

其中，l=1表示第1个子模块，以此类推，经过第12 个子模块后，则生成最终的特征增强注意力机制特征

2.3 重建模块

为了进一步将特征增强注意力机制模块输出的特征图像重建成细节丰富的高分辨率图像，必须设计最终的重建网络结构。重建模块能够进一步提取重要的特征，并将低分辨率空间升至高分辨率空间大小。重建模块首先由2个串联的残差块组成，与2.2小节使用的残差块结构一致，卷积核大小均为3×3，输出256个通道特征图，同时进行短跳跃连接操作；其次设计了串联组成的卷积层和ReLU 激活函数层，其中卷积核大小与输出通道数量分别为3×3和256；然后设计由单个卷积层、子像素卷积层、卷积层和子像素卷积层串联组成的结构，起到了上采样的作用，上采样倍数为4，最后通过1个输出通道数量为3的卷积层重建出最终的高分辨率人脸图像。具体步骤是，首先将特征图像通过2个残差块；其次通过卷积层和ReLU激活函数层；然后通过上采样操作；最后通过1个卷积层重建出最终的高分辨率人脸图像。因此重建模块的输出操作为：

其中，f REC(·)表示重建网络表示最终重建的高分辨率人脸图像。

2.4 损失函数

由于L1损失函数有较好的网络收敛能力，因此本文算法采用L1损失函数作为网络的损失函数，基于特征增强注意力机制的人脸超分辨率损失函数为：

其中，ki表示原始的人脸图像表示最终重建的高分辨率人脸图像，Loss表示基于特征增强注意力机制的人脸超分辨率损失。

3 实验与结果分析

3.1 实验数据集

本文算法采用FEI数据集，FEI数据集包含400张图像，选用360张作为训练，40张作为测试，原始图像大小为260×360 像素，采用双三次插值法(Bicubic)下采样4倍形成低分辨率数据集，低分辨率数据集图像大小为65×90 像素，从而形成对应的高分辨率数据集和低分辨率数据集。

3.2 实验参数信息

本文算法的实验硬件主要为NVIDIA GTX 1080Ti显卡，采用分块的方式形成训练集，低分辨率图像块大小为48×48像素，为了更快地让网络收敛，学习率设置0.000 1，共训练290 个时期，为了提升网络的泛化能力，同时使网络能够自适应调整学习率，故采用了Adam优化器。

3.3 实验结果

本文算法采用峰值信噪比(PSNR)和结构相似性(SSIM)作为客观评估指标，一般情况下，PSNR与SSIM的值越高，说明图像质量越高。本文算法与多个算法进行比较，其中包括Bicubic、VDSR、SAN 和MHAN 算法，尤其是SAN 和MHAN 算法均使用了注意力机制，因此更能凸显本文算法的优越性。

本文算法与Bicubic、VDSR、SAN和MHAN算法进行主观视觉效果比较，如图2所示，从人类的肉眼明显可以看出，Bicubic算法虽然可以将低分辨率图像升至高分辨率图像空间大小，但是未能恢复细节，重建效果很差，从放大的人脸图像眼睛区域可以看出，细节属于完全模糊的状态；VDSR算法比Bicubic算法恢复的细节更多一些，但是双眼皮中的褶皱痕迹已经变形，细节信息严重丢失；SAN 算法的双眼皮褶皱痕迹与原始图像相比，有少量的细节并未恢复，褶皱痕迹不明显；MHAN 算法与SAN 算法的情况大致相同，同样是褶皱痕迹的细节信息尚未完全恢复；本文算法的主观视觉效果最接近于原始图像，从图2中可知，本文算法的主观视觉效果超越了对比算法。

图2 主观视觉效果图

在客观评估方面，本文算法与其他算法的实验结果如表1所示，表1列出的实验结果为40张测试图像的平均PSNR 和SSIM 值。本文算法的PSNR、SSIM 值均超越了对比算法，尤其超越了使用注意力机制的SAN 与MHAN 算法。因此，本文算法在FEI 数据集上的主观和客观效果均表现出出色的重建效果。

表1 客观评估实验结果

4 结论

本文提出了一种基于特征增强注意力机制的人脸超分辨率算法，该算法采用了3个模块，分别是特征提取模块、特征增强注意力机制模块和重建模块，3个模块完成不同的重建任务；该算法能够学习通道特征之间的自适应权重系数，增强重要的特征信息，有利于恢复更多的人脸高频细节信息，提升网络的表达能力。