基于深度学习的部分遮挡人脸识别

文/王振华 苏金善 仝琼琳

（伊犁师范大学电子与信息工程学院 新疆维吾尔自治区伊宁市 835000）

随着计算机技术的发展，人脸识别已经成为计算机视觉和生物识别领域被研究最多的主题之一。人脸识别算法也从最初基于人工设计特征和传统的机器学习方法[1]逐渐转变为深度学习方法[2]。深度学习一般通过大量的数据进行训练，从而学到更为稳健的人脸表征[3]。CNN是人脸识别方面最常用的一类深度学习方法[4]，目前也成功应用于很多人脸识别系统。

由于人脸识别算法的逐步成熟，人脸识别也逐渐成为一种可靠的认证机制，并应用于许多访问控制场景。不过目前的面部识别或认证，主要使用全正脸面部图像数据来执行，但实际上有些情况下摄像头只能拍摄到人脸的侧面，或者被拍摄者可能戴了帽子、眼镜、口罩等遮挡物，导致无法获得完整的正脸图像。因此，使用部分遮挡的面部数据进行人脸识别是一个亟待开发的研究领域[5]。

有遮挡人脸识别领域已有的研究工作主要可以分为子空间回归、鲁棒性误差编码与鲁棒特征提取等三类[6]。尽管这些算法已经取得长足的进展，但是依然无法完全有效地排除遮挡的影响，仍然面临着许多挑战[7-9]。本文立足于目前的研究进展，采用基于深度学习的方法进行人脸检测，并对部分遮挡情况下的人脸图像进行识别，取得了较为良好的效果。

1 理论基础

1.1 人脸识别系统

如图1所示，人脸识别系统一般由以下4个模块组成[2]：

1.1.1 人脸检测人脸检测的目标是找出图像中所有人脸的具体位置，返回结果为每个人脸的边界框的位置坐标。

1.1.2 人脸对齐人脸对齐的目标是利用图像中的参考点来对图像进行裁剪或者缩放，通过合理的仿射变换将人脸调整到最优的角度和位置。

1.1.3 人脸表征

人脸表征也就是特征提取，具体目标是把人脸图像的像素值转换成一个特征向量。在理想情况下，相同个体的所有人脸图像都应该映射到相似的特征向量。

1.1.4 人脸匹配

将两个人脸图像特征向量进行比较，从而得到一个相似度量值，

图1：人脸识别系统组成模块

图2：图像预处理及特征提取模型结构

该度量值用来判断两张人脸图像是否为同一个人。

1.2 基于CNN的人脸识别

卷积神经网络（CNN）是人脸识别研究领域最常用的一类深度学习方法，其主要特点是不需要专门设计针对不同类型人脸图像稳健的特定特征，而是可以通过训练学习得到。这种训练学习方法的主要缺陷是需要使用规模非常大的数据集进行训练，并且数据集中需要包含足够多的类型变化，从而可以泛化到训练集中未曾见过的样本上。目前一些包含自然人脸图像的大规模数据集已经被公开，可以很方便用来训练CNN模型[10]。

现阶段可以使用不同的方法来训练用于人脸识别的CNN模型，一种可行的方法是采用基本的分类问题解决思想，在模型训练阶段，把训练集中的每个主体都对应到一个类别。在模型训练好之后，就可以去除分类层，将之前的层学习到的特征作为人脸表征，这样我们就可以用该模型去识别训练集中不存在的主体[2]。

2 模型结构

2.1 系统模型

本文基于上述人脸识别系统，建立了如图2模型结构。

首先通过CNN模型将数据集中原始人脸图片中的具体人脸部位提取出来并进行归一化处理，然后使用CNN模型对预处理之后的人脸进行特征提取，从而得到一组128维的特征向量。分类器使用提取得到的特征向量进行匹配，从而实现人脸分类识别。本文所用的CNN模型来自OpenFace预训练好的模型[11]，这是一个基于深度神经网络的开源人脸识别系统，由卡耐基梅隆大学的B.Amos主导实现。

图3：ORL人脸数据集样本图像

图4：随机遮挡1/4样本图像

图5：随机遮挡1/2样本图像

图6：不同遮挡条件下的人脸识别准确率

2.2 特征分类

特征分类是人脸识别的关键步骤，本文采用余弦相似度来进行分类[5]。余弦相似度是用于衡量两个向量相似程度的一种方法，可以通过公式（1）中的向量内积公式进行计算。

其中，A和B是两个向量，θ是两个向量之间的夹角。公式（2）为向量长度公式，其中x=[x1,x2,x3,…,xn]，据此可以得到向量A和B之间的余弦相似度CS，即公式（3）。

在分类过程中，我们通过计算测试图片test_im和已训练图片traning_imi之间的余弦相似度，由于余弦相似度的数值越大表示两者匹配度越高，因此我们计算得到test_im和traning_imi之间的余弦相似度最大值CSmax如公式（4）所示：

其中i的取值为1,…,n。n为训练集中所有图片的总数。根据CSmax可以得到test_im所属类别也就可以完成人脸分类识别。

3 实验

3.1 数据集

本文实验基于ORL人脸数据集，该数据集由英国剑桥的Olivetti研究实验室在1992年左右创建，其中共包含40个不同的人，每个人的10张照片均是在不同的条件（光照、时间、面部表情细节等）下进行拍摄。所有图像均是在亮度较暗的背景下拍摄的正脸图像（个别图片稍微有些侧偏），如图3所示。400张图像均是以PGM格式灰度图存储，图像宽度为92，高度为112。

3.2 实验设计

为了测试在不同的遮挡条件下的识别效果，本次实验分为4种情况。分别为无遮挡、遮挡1/4、遮挡1/2和遮挡3/4。其中，遮挡1/4和遮挡1/2的样本图片见图4和图5。

在每次实验中，训练集和测试集各占一半。其中训练集用于计算CS阈值即最小值。然后用测试集中的图片来进行测试。

3.3 实验结果

4种实验条件下的识别结果如图6。

实验结果表明：在无遮挡情况下，本文基于余弦相似度的分类方法可以取得100%的识别准确率；在人脸图像被随机遮挡1/4的情况下，识别准确率为84%；当遮挡比例增加到1/2时，识别准确率降低到了64%；当遮挡比例为3/4时，基本已经无法准确识别，识别率接近为0。

根据以上结果可以发现，图像的遮挡比例越高，越难以准确识别。由于随机遮挡1/4的情况下的识别准确率较为良好，也就说明在部分遮挡条件下可以取得较为准确的识别结果。这对于解决现实场景中戴口罩或者戴墨镜的人脸图像识别提供了一种解决问题的方向。

4 结语

部分遮挡情况下的人脸图像识别是图像处理领域的重要课题，在对部分遮挡人脸图像进行处理时，本文基于深度CNN模型进行特征提取，并采用余弦相似度进行分类识别，在遮挡比例不高的情况下，取得了较为良好的识别结果。当然本文的实验还存在一些不足，比如特征的建立和分类器的选择等方面，这将在我们下一步的研究中进行改进。