通过美颜保护人脸隐私

汪 涛，张玉书+，赵若宇，温文媖，朱友文

1.南京航空航天大学 计算机科学与技术学院，南京 211106

2.江西财经大学 信息管理学院，南昌 330013

随着在线社交网络的发展，人们日常生活的社会交往和信息交换方式发生了巨大的改变。目前，越来越多的人倾向于在社交网络上共享图像以表达自己和与他人互动。然而，在线图像中作为通用身份标识符的人脸信息一经泄露，将对用户隐私构成巨大威胁。一方面，不可信第三方在社交网络中任意收集用户的人脸图像来构建人脸库，之后依托于高性能的人脸识别系统对用户行为进行大规模的监控。另一方面，人脸图像中包含的大量软生物属性（如性别、年龄、种族等）可以被自动识别技术提取并与现有数据库进行匹配，从而进一步推断用户的敏感信息。出于隐私考虑而简单地限制发布人脸图像尽管是一个可行的解决方案，但极大地降低了用户分享图片的乐趣，开发基于深度学习的隐私保护技术来解决技术本身带来的问题会更有效。

为保护社交网络上用户的人脸隐私，一类方法[1-5]旨在生成一个参考人脸来替代原始人脸从而完全去除可识别信息。虽然这类方法达到了令人满意的去识别效果，但是由于生成人脸和原始人脸的视觉外观存在显著的差异，使得用户的好友也无法在视觉上感知图像中人脸的身份，违背了用户上传个人图像的初衷。

因此，另一类方法[6-11]通过在面部区域添加具有对抗性的扰动，以躲避未知识别系统的检测而不阻碍人类对身份的感知。TIP-IM（targeted identityprotection iterative method）[8]允许用户在分享个人图像之前为人脸佩戴上具有对抗性的隐私面具。通过这种方式，图像中人脸的身份无法被未知人脸识别模型以及商业应用程序编程接口（application programming interfaces，APIs）所识别，但是依旧可以被人类感知。考虑到特定于图像的隐私面具不仅耗时而且安全性较低，OPOM（one person one mask）[10]利用优化理论为用户生成一个定制的隐形斗篷，其可以被添加到该用户的所有图像中，进一步提高了隐私保护的实时性和实用性。尽管如此，如图1 所示，这些方法生成的对抗性人脸依旧存在能被人眼感知的不自然扰动，影响了用户的视觉体验。为了缓解扰动带来的不良视觉效果，AMT-GAN（adversarial makeup transfer generative adversarial network）[11]利用广泛可见的化妆作为布局扰动的关键思想，合成了具有目标人脸妆容和目标人脸身份的对抗人脸。但是化妆对普通用户不具有通用性，一般来说，成年女性更喜欢化妆，而儿童、老人以及成年男性对化妆较为反感。

图1 本文方案与主流方案的结果图Fig.1 Results of proposed scheme and mainstream schemes

目前，短视频记录平台、直播分享平台等都支持人脸自动美颜的功能。加上用户自身对美的追求，在社交网络平台发布自拍之前对人脸进行适当的美颜也变得越来越普遍。不同于化妆主要对眼影和唇彩进行浓烈的渲染，人脸美颜[12-14]在于去除皮肤瑕疵以及微调五官的比例，因此适当的美颜更容易被用户所接受。如果能够通过人脸美颜实现对人脸的隐私保护将具有重大的现实意义。如图2所示，现有人脸美颜技术生成的结果注重保留原始身份，使得美颜人脸与原始人脸的身份相似度较高，因此无法直接用于人脸隐私保护。

图2 美颜人脸与原始人脸的身份匹配置信度Fig.2 Confidences of identity matching between beautified face and original face

为此，本文考虑通过人脸美颜来遮盖扰动信息，从而提高对抗性人脸在视觉上的自然性。总的来说，本文主要贡献如下：

（1）探究了通过美颜来保护人脸隐私的可能性，这相对化妆来说更易被用户所接受；

（2）提出了一种基于美颜的身份对抗方案，通过在人脸上产生类似美颜的扰动，以对抗未知的人脸识别系统；

（3）为身份损失添加了对抗性阈值，防止身份特征的过度偏离而导致的人脸区域扭曲。

1 本文方法

本文提出了一种身份对抗方案Adv-beauty，该方案能够在全脸产生类似美颜的扰动，换句话说美颜带来的像素变化遮盖了扰动信息，缓解了扰动信息带来的不良视觉效果。此外，该方案能够学习更好的泛化特征来对抗未知人脸识别系统。

1.1 Adv-beauty框架

如图3 所示，Adv-beauty 由四个组件组成，分别是生成器G、美颜转换器F、美颜鉴别器D和人脸匹配器M。首先，原始人脸x∈RH×W×3输入到美颜转换器中生成美颜人脸F(x)=xbeauty，同时也输入到生成器中生成对抗人脸G(x)=xadv。随后美颜鉴别器判定美颜人脸xbeauty的美颜效果为真，判断对抗人脸xadv的美颜效果为假。生成器通过与鉴别器进行多轮对抗性的训练，最终生成的对抗人脸xadv也会具有美颜效果。此外，人脸匹配器为对抗人脸xadv添加了身份特征约束，使得生成器鼓励对抗人脸xadv的身份特征远离原始特征，从而使得人脸匹配器输出结果为不匹配。在人脸匹配器和美颜鉴别器对生成器的双重约束下，生成器最终会生成具有美颜效果的对抗性人脸。

图3 Adv-beauty框架图Fig.3 Framework of Adv-beauty

1.2 模型结构

1.2.1 生成器

生成器的网络结构如图4所示，该结构参考了自动编码器的架构，以有效在高级特征层中处理原始人脸，使得生成的对抗性人脸更加自然。具体地，生成器接受输入大小为256×256×3 的人脸图像。输入图像经过连续的5个核尺寸为4和步幅为2的卷积层（Conv）用于下采样，得到了大小为8×8×1 024的高级特征；之后，高级特征经过5 个核尺寸为4 和步幅为2的转置卷积层（DeConv）用于下采样，最初输出256×256×3 大小的对抗人脸图像。其中，在每个卷积层后面添加了一个批归一化层（batch normalization，BN）和一个LeakyReLU 激活层（LReLU），用来稳定和加速模型的训练。特别地，最后一个转置卷积层只添加了Tanh 激活函数以将特征映射为RGB 图像。此外，在卷积层和转置卷积层之间添加了U-Net中的跳跃连接层，缓解了梯度消失的问题和深度网络训练中的网络退化，同时保留了网络中间层输出的低级特征，例如颜色、轮廓等。

图4 生成器的网络结构图Fig.4 Network structure diagram of generator

1.2.2 美颜转化器

美颜转化器通过去除皮肤瑕疵和微调五官比例将原始人脸转化为美颜人脸。现有的美颜技术较为成熟，它们采用基于深度学习的方式来检测人脸和定位人脸关键点，之后运用计算机图像学的方法来实现人脸的美颜。本文方案采用旷世科技的自动美颜API（https://www.faceplusplus.com.cn/face-beautify/）作为美颜转化器。

考虑到高强度的美颜会明显改变原始人脸的外观，使得原始身份无法被人类所识别，因此本文方案固定了美颜转化器的相关参数。以本文方案采用的旷视科技美颜API为例，设定美白程度、磨皮程度、瘦脸程度、大眼程度均为50%。

1.2.3 美颜鉴别器

美颜鉴别器需要鉴定对抗人脸的美颜效果为假以及美颜人脸的美颜效果为真。不同于传统鉴别器[15]利用全连接层输出真或假的分类结果，PatchGAN[16]被设计成全卷积的形式对每个感受野输出分类结果，更加关注人脸的局部结构和细节特征，将更利于对美颜效果的评估。因此选用PatchGAN 作为美颜鉴别器。

1.2.4 人脸匹配器

与大部分人脸隐私保护的工作一致，采用预训练的人脸匹配器作为辅助模型来帮助生成器的训练。由于需要对抗的目标敌手是未知的识别模型，选取了两种先进的人脸匹配器FaceNet[17]和Cosface[18]，它们都在公共人脸图像数据集上具有高准确度，通过集成它们的预测结果来学习更泛化的特征以对抗未知识别模型。

1.3 损失函数

Adv-beauty 在三种损失的加权和下进行监督训练，它们分别是对抗损失、身份损失和重构损失。接下来，详细介绍每种损失的细节。

1.3.1 对抗损失

生成对抗网络中采用的对抗损失能够增强生成图像的清晰度和视觉质量。作为生成对抗网络的变种，Adv-beauty中的对抗损失目的是学习美颜人脸的分布，从而引导生成器生成具有较强真实感和美化效果的人脸图像。同时，采用WGAN-GP（Wasserstein GAN gradient penalty）[19]中的梯度惩罚项来提高判别器的拟合能力，以稳定对抗训练的过程。具体地，美颜鉴别器的输入为一对图像，当输入图像对为(x,xadv)时，输出为假；当输入图像对为(x,xbeauty)时，输出为真。生成器和美颜鉴别器的对抗损失分别表示为：

其中，x和xadv分别表示原始人脸和对抗人脸，D(·)表示美颜鉴别器预测输入的人脸是否为美颜人脸的概率，Ex(f(y))表示在给定条件变量y的情况下f(y)在其分布下的期望值，λgp为梯度惩罚的系数。

1.3.2 身份损失

为了使对抗人脸不被未授权的人脸识别器所检测，加入人脸匹配器来监督生成器的训练，使得对抗人脸与原始人脸的输出结果为不匹配。主流方案采用最大化原始人脸身份特征和对抗人脸身份特征的余弦相似度来实现对抗过程，身份损失为：

其中，M(⋅,⋅)为人脸匹配器输出的身份特征相似度。

由于公式未能控制对抗人脸的身份变化程度，当人脸相似度越来越低时，对抗人脸的部分区域会发生显著的变化，如鼻子扭曲及明显斑点。考虑到现有人脸识别系统多采用匹配阈值来判定两张人脸是否匹配，因此只需要控制身份相似度低于匹配阈值即可完成对抗。为此，本文同样设置了一种对抗性阈值，当身份相似度低于该阈值时，身份损失便不再下降，将公式表示的身份损失修改为：

其中，ξ为对抗性阈值。对抗性阈值会小于匹配阈值，在本文中根据实验结果，将ξ设置为0.5。

此外，为进一步提高对抗人脸的可迁移性以对抗未知识别系统的攻击，在训练中使用增强输入多样性的集成训练策略。具体地，联合FaceNet 和Cosface识别模型的输出试图逼近未知目标模型的决策边界。通过调整图像的大小以及添加一定的高斯噪声作为输入的变化函数来增强输入的多样性。因此，进一步将公式表示的身份损失修改为：

其中，MF(⋅)和MC(⋅)分别表示FaceNet 和Cosface 输出的结果，T(⋅)表示输入的变化函数，α控制了不同集成模型对结果的影响程度，本文中设置为0.5。

1.3.3 重构损失

添加重构损失用来保留原始图像的更多细节，同时也使得对抗人脸的美颜效果更好。具体地，采用美颜人脸和对抗人脸的平均绝对误差L1损失来保留更多的图像细节：

1.3.4 总损失

最终，生成器和鉴别器的总目标损失定义为：

其中，λ1和λ2分别为身份损失和重构损失的权重，以平衡生成器的输出结果。

2 实验结果与分析

2.1 实验设置

2.1.1 数据集

由于不同种族对美的定义不同，本实验只针对黄种人的美化对抗开展了实验。实验采用Seepretyface数据集用于训练和测试，该数据集包含了50 000张图像且涵盖了不同性别、不同年龄段以及不同颜值的人脸。原始图像分辨率为1 024×1 024，选取了数据集中的10 000张图像用于训练和1 000张图像用于测试。

2.1.2 实验环境及参数设置

本文基于Pytorch 深度学习框架，采用NVIDIA GeForce RTX 3080 GPU进行计算。训练时采用Adam优化器，其中β1=0.5，β2=0.99。所有训练图像调整至256×256分辨率，输入图像的批量大小设置为4，初始学习率设置为0.000 2，之后调整为0.000 1。训练中，首先不加入身份损失，让生成器和鉴别器交替训练，设置λ2=100，等训练稳定后再加入身份损失训练少量批次，设置λ1=2.5。

2.1.3 基准方案

选取了三种典型的对抗人脸生成方案作为基准方案，它们分别是PGD（projected gradient descent）[20]、FGSM（fast gradient sign method）[21]和GAP（generative adversarial perturbation）[22]，其中PGD 和FGSM基于迭代优化的方式找到最佳扰动，GAP 和本文一样利用GAN（generative adversarial network）模型学习到每张图像的泛化扰动。同时将它们原始的分类损失函数替换为身份特征损失，选择FaceNet 作为它们需要对抗的白盒人脸识别模型。

2.2 对抗性阈值选择

对抗性阈值用于防止身份特征的过分偏离而导致的人脸区域扭曲。如果对抗性阈值设置过大，身份信息将会大部分保留，隐私保护性能较差；如果对抗性阈值设置过小，身份信息丢失严重，视觉质量变差。对抗性阈值的取值需要小于匹配阈值（实验中为0.75），从0.1～0.7 间隔0.2 取值作为对抗性阈值开展相应实验。结果如图5所示，其中蓝色数字表示对抗人脸与原始人脸的相似度。在对抗性阈值为0.1时，人脸的鼻子两边会发生扭曲，同时眼周出现其他颜色斑点。当取值为0.5 时，对抗人脸既能保持较高的视觉质量也能有效降低身份相似度，因此，本文方案选择0.5作为对抗性阈值。

图5 不同对抗性阈值下的对抗人脸及相应的置信度Fig.5 Adversarial faces with different adversarial thresholds and corresponding confidence levels

2.3 视觉评估

图6 展示了Adv-beauty 在Seepretyface 黄 种人数据集上生成的结果，其中第一行和第三行是数据集中的原始图像，第二行和第四行分别为对应的对抗图像。通过观察可以发现，所提出的方案能够对人脸进行美颜，包括磨皮、美白、瘦脸等效果。相较于原始人脸，Adv-beauty 生成的人脸五官更加精致，皮肤更加白皙。

图6 本文方案生成的对抗人脸图像Fig.6 Adversarial face images generated by proposed scheme

图7展示了基准方案生成的结果，能明显注意到对抗人脸上存在不同形状的扰动信息，其中非人脸区域也存在扰动信息，影响了用户的视觉体验，并不利于社交网络的图片分享。

图7 基准方案生成的对抗图像Fig.7 Adversarial images generated by other schemes

2.4 身份保护评估

为了评估所提出的方案对人脸隐私保护的有效性，在五种人脸识别模型上测试了Adv-beauty的对抗性能，分别是FaceNet[17]、CosFace[18]、Arcface[23]、SENet[24]和Mobileface[25]。当原始人脸的身份特征相似度小于身份匹配阈值时，定义身份保护成功，即I(x,) ＜δ，其中x为原始人脸，为对抗人脸，δ为匹配阈值（实验中设置为0.75）。采用成功保护率（successful protection rate，SPR）作为身份保护评估的指标。

m为测试样本数量。

表1 给出基准方案和本文方案在不同人脸识别模型下的成功保护率。可以发现传统对抗扰动方法PGD 和FGSM 对FaceNet 的成功保护率已经达到了100%，说明此类迭代优化方法对白盒模型最为有效，同时它们对SENet和Mobileface达到了近一半的成功保护率。然而，它们对CosFace 和ArcFace 的成功保护率几乎为0，无法抵抗部分未知模型的攻击。GAP利用了生成对抗网络来生成对抗扰动，其保护效果较PGD 和FGSM 有明显提升，对SENet 和Mobileface 有比较好的泛化作用，对CosFace 和ArcFace 也起到一定的对抗效果但依旧不够理想。而本文方法虽然不能在所有模型上达到最优的成功保护率，但对这些模型都能起到令人满意的对抗效果，泛化效果较强。总的来说，本文方案较基准方案能够更好地抵抗人脸识别模型的攻击。

表1 不同方案对抗人脸识别模型的成功保护率Table 1 Successful protection rates of different adversarial schemes against face recognition models

随着对抗样本的发展，一些人脸比对商业APIs会定期更新人脸比对算法，从而抵抗对抗样本的攻击。如果所设计的人脸隐私保护方案能够抵抗人脸比对商业APIs 将更具有现实意义。因此，在国内的人脸比对商业APIs上开展了对抗实验。

表2 展示了不同方案生成的人脸与原始人脸在三种国内商业APIs 上的比对结果的平均置信度，分别是旷视科技（https://www.faceplusplus.com.cn/facecomparing/）、阿里云（https://vision.aliyun.com/experience/detail?tagName=facebody&children=CompareFace）和讯飞云（https://www.xfyun.cn/services/xf-face-comparisonrecg#anchor264312），其中平均置信度越小表示人脸的相似度越低，即身份保护效果越好。需要注意的是，每种APIs的匹配阈值并不一致。由表2可知，GAP获得的置信度最高，抵御人脸比对APIs的效果最差。这是因为它在非人脸区域也产生了部分扰动，但先进的人脸比对APIs只保留人脸区域用于识别。PGD和FGSM 也降低了人脸比对置信度，但效果并不明显。Adv-beauty 生成的对抗人脸与原始人脸的身份比对置信度在所有方案中达到了最低水平，因此所提出的方案相较基准方案隐私保护效果更好。

2.5 效率评估

表3 展示了所提出的方案与基准方案平均生成一张对抗人脸所需要的时间以及所使用模型的参数。PGD 和FGSM 都是基于迭代优化的方法生成对抗扰动，因此相对GAP 来说耗时更长，但它们无需模型参数。本文提出的方案需要同时考虑对人脸进行美颜，在模型结构上要比GAP 复杂，模型参数也相对更多。由于深度模型能够借助GPU 并行地处理数据，本文方案和GAP在时间效率上差异并不明显。

表3 对抗人脸生成的平均时间和模型参数Table 3 Average time and model parameter of adversarial faces generation

2.6 讨论

不同于基准方案直接在人脸图像上添加扰动，这易被对抗防御方法所检测，Adv-beauty产生的扰动聚焦在身份的特征级上而不是像素级上，因此生成的对抗人脸更加自然，很难被检测。然而，随着人脸识别技术的不断发展，Adv-beauty产生的特征级的扰动可能被人脸识别技术所去除，使得身份信息无法被保护。

本文方案严格固定了美颜参数，无法满足用户对美颜的个性化需求，因此很难在现实场景中得到应用。如何提供可控的美颜和隐私保护是需要解决的重要问题。

3 结束语

现有基于对抗扰动的人脸隐私保护工作生成的人脸在视觉上并不自然，为此，本文提出了一种基于美颜的对抗性人脸生成方案Adv-beauty。该方案利用人脸匹配器和美颜鉴别器协同监督生成器的训练过程，使得生成器在原始人脸上产生类似美颜的扰动，或者说用美颜带来的像素变化遮盖扰动。此外，还加入了对抗性阈值来防止身份过度远离造成的人脸扭曲。在Seepretyface黄种人的数据集上开展的充分实验表明，Adv-beauty不仅能够生成较为自然的美颜人脸，同时能够有效防御多种人脸识别模型和商业人脸比对APIs的攻击。