基于Haar-like T 和LBP 特征的人脸识别方法

胡宇晨，李秋生

（1.赣南师范大学 智能控制工程技术研究中心，赣州 341000；2.赣南师范大学 物理与电子信息学院，赣州 341000）

人脸识别技术[1]起源于上世纪60 年代，现在由于计算机硬件性能的不断增强，使得如今的人脸识别技术得以推广，同时安全性能也较之前有了大幅提升。人脸识别技术的发展有以下3 个阶段：

第1 阶段在1960 年初到1990 年初。该时期由于受到计算机性能的限制，主要的研究方法为人脸的几何构造，缺点为收集面部信息的几何点个数较少，精度不足，导致识别率较低，此时的人脸识别技术还处于理论阶段；第2 阶段是在1990 年初到本世纪初，此时应用数学水平的不断提高，同时计算机硬件的发展，计算机采集人脸信息的问题得到了长足进步，可获得的人脸几何点数有了大幅的提升，但是最后的结果却不尽如人意；第3 阶段为本世纪初至今，此阶段计算机视觉、深度学习、人工智能[2]等技术的高速发展，使得人脸识别的精确度和安全性能得到大幅的提升，广泛运用于人类生活和工作的各个方面，如人脸支付、身份识别、公共交通、信息安全等领域。

现在人脸识别领域应用最为广泛的方法为深度神经网络，尤其是卷积神经网络（convolutional neural network，CNN）[3]，该网络提取图片特征的能力极其强大，具有很高的准确率，但是要训练一个成熟的神经网络需要上千张图片，在现实的场景中，少有同一个人有几千张的照片来训练，而需要从少量的图像中得到识别人脸的模型。

针对上述问题，本文结合Haar-like T[4]和LBP[5]特征的算法进行人脸识别的研究。首先采集人脸图像，对采集的图像进行特征提取，之后对提取的特征进行训练，旨在从较少的样本准确地识别出人脸。

1 Haar-like 和LBP 特征的提取

1.1 Haar-like 特征

Haar-like 特征最先是由Viola 提出，该特征在人脸和车辆识别的应用中取得了很好的效果[6]，其本质是通过构建简单的黑白矩阵来实现对面部灰度特征变化的表示。Haar-like 特征可分为4 类：边缘、线性、中心以及对角线特征[7]，具体如图1 所示。

图1 边缘、线性、中心以及对角线特征Fig.1 Edge，linear，center，and diagonal features

Haar-like 特征的计算积分图由面部图像形成，其图像矩形区域中从起点到每个点的像素之和存储为阵列的元素，当要计算区域中的像素之和时，即调用该阵列元素，不需重新计算，因此也提高了检测的速度。其计算公式[8]为

而后构建积分图算法，用s（a，b）表示行方向的累加，初始为s（a，-1）=0；之后使用ii（a，b）表示积分图像，初始化ii（-1，b）=0；通过扫描人脸图像的各个像素点，迭代计算每个像素在行方向上的累加和积分图像的值，即有：

当人脸图像扫描完成时，积分图像ii（a，b）构建完成，而后图像中所有矩阵通过运算得到，如图2所示。

图2 矩形计算图Fig.2 Rectangular calculation chart

假设图2 中，D 这一点左右上下4 个点分别为a，b，c，d，则图中D 点的像素和可以表示为

由此一个区特征值，就可以通过各个特征端点的积分图计算得出。

1.2 Haar-like T 特征

在人脸五官的分布中，人脸图像信息可以找到大量的T 字型结构特征。在Haar-like 的基础上，T字型结构特征与Haar-like 特征相结合，可得到4 类Haar-like T 特征[9]，该特征更为符合人脸的几何分布特征。分别为T-down、T-right、T-up、T-left，如图3所示。

图3 四类Haar-like T 特征Fig.3 Four types of Haar-like T features

T 特征与人脸五官的结合如图4 所示。以图4（a）所示人脸为例，图4（b）为T-up 与人脸眼睛和鼻子区域相结合，人的眼睛和眉毛所在区域的灰度值大于以鼻子作为交点的倒立T 字型包含区域的灰度值，图4（c）和图4（d）则是人左眼和右眼与T-left、T-right 相结合，图4（e）与图4（f）图类似。从上述分析可知，Haar-Like T 特征理论上较符合人脸的几何分布。

图4 T 特征与人脸五官结合图Fig.4 T-feature and facial features

1.3 LBP 特征

局部二元特征（LBP）算子是描述人脸图像纹理特征的算子，该算法对纹理特征具有旋转不变性和灰度不变性。初始的LBP 算子构建一个3×3 的矩形区域[10]，该区域的中心像素值设为阈值，相邻的8 个小矩形区域的像素灰度值与中心像素值经行比较，比它大的标记为1，反之为0。如此操作，将这8 个经过标记的像素块按顺序排列，即得到八位二进制数。用公式则表示为

式中：（Xc，Yc）为该正方形区域的中心点像素；ic为中心区域的灰度值；ip是各相邻区域的灰度值；S（x）为定义函数，即：

其简单计算如图5 所示。

图5 LBP 计算流程Fig.5 LBP calculation flow chart

该算法可以较为简单高效地识别人脸图像中各种细节，但不足之处在于当遇上规模较大的人脸纹理变化时，算法会遇到效率较低的问题。

1.4 LBP 算法的改进

基础的LBP 算法只能够适应固定半径范围的小区域，而人脸识别对图像的尺寸和频率纹理有着较高地要求。改进的LBP 算法[11-12]在原有的基础上，将3×3 邻域拓展到任意邻域，并且用圆形邻域代替，以适应不同尺度的纹理特征，如图6 所示。

图6 改进后的LBP 算法Fig.6 Improved LBP algorithm

图7 原始图像与LBP 特征图Fig.7 Original image and LBP feature map

对于新的圆形邻域内的中心点（Xc，Yc），其邻域范围内的任意一点（Xp，Yp），p∈P 其采样点（Xp，Yp）值为

式中：R 为圆形区域的半径大小；p 表示第p 个采样点；P 表示检测样本点的个数。

通过上述对于普通LBP 算法的改进，图像区域内的每个像素点都可以得到一个LBP 编码。一幅人脸图像在提取其LBP 特征之后，得到的LBP 特征图任然与人脸相似。

同时LBP 对光照具有很强的鲁棒性，在不同的光照条件下，LBP 方法对人脸图像纹理特征的提取未发现明显的变化，不同光照条件下的人脸照片与LBP 图像，如图8 所示。

图8 不同光照条件下的人脸图像与LBP 图像Fig.8 Face image and LBP image under different lighting conditions

2 Adaboost 分类器的设计

在1990 年，由SChapire 等人提出了Boosting 算法。其旨在将弱学习算法提升为强学习算法。在1995 年，研究者在原算法的基础上，提出了改进的Adaboost 算法，该算法较之前的Boosting 算法有着较大地提升。

Adaboost 算法是一种基于级联分类模型的分类器[13]，它将采集到的人脸图像用Harr-like T 特征表示，并应用积分图对人脸图像进行表达。系统构建了一个快速分类器，其具有极低的错误率（对于人脸的识别率接近100%）。该检测器可更准确将人脸分类。当图像的“非面部”区域被标记，即可将其丢弃，而“面部”区域时，则需要进一步的分类工作。级联分类模型如图9 所示。

图9 级联分类模型Fig.9 Cascade classification model

Adaboost 算法通过对不同的人脸图像进行不同的赋值与加权计算，以此来分别是否为人脸图像。在不断学习了多种不同的样本时，分类器不断的学习迭代，其准确率将到达一个较高的值。在多次训练之后选择一个准确率最高的分类器，如此就得到一个弱分类器。弱分类器将每个分类器进行不同的赋值计算，再将若干个分类器进行级联合成强分类器。经过级联算法之后，会得到最终的人脸级联分类器，通过每一级的赋值加权，形成人脸分类器。Adaboost级联分类器如图10 所示。

图10 Adaboost 级联分类器Fig.10 Adaboost cascade classifier

3 实验结果与分析

为检测本文算法的性能，人脸识别的实验环境为CPU 是Intel（R）Core（TM）i5-9500 CPU，频率为3.00 GHz，内存为8 GB，电脑的操作系统为Win10。

3.1 Haar-like T 算法检测

为测试Haar-like T 检测人脸的性能，本文用该方法与Haar-like 方法做比较，数据集为FERET 人脸数据库、Yale 人脸数据库、ORL 人脸数据库中所提取的6000 张人脸图像，和网络收集的2000 张非人脸图像，再从数据集中选取部分图片作为测试图片。当检测样数较少时，Haar-like T 与Haar-like 的检测率相近，当样本数逐渐增大时，检测率开始出现差别，Haar-like T 方法检测率较高，检测精确度更高，相同条件下Haar-like T 所用的时间更短。实验结果汇总如表1 所示。

表1 检测性能Tab.1 Test performance

表2 算法识别率Tab.2 Algorithm recognition rate

表3 算法识别率Tab.3 Algorithm recognition rate

3.2 Yale 人脸库及实验

该数据集由耶鲁大学计算视觉与控制中心创建，包含15 个个体，每个个体包含11 张不同姿态的人脸图像，共165 张图片，包含光照、表情和姿态的变化。Yale 人脸数据库中每个个体采集的样本包含明显的光照、表情和姿态以及遮挡变化。该数据集的样图如图11 所示。

图11 Yale 人脸数据库样本图Fig.11 Sample image of Yale face database

本文取该数据集中每人的前5 张作为训练集，剩余的样本作为测试集。在该数据集上本文对HOG+SVM、LBP+KNN、LBP、ULBP、Haar-like+LBP、CNN 方法与本文方法进行对比，结果如2 表所示。

通过以上7 种不同的方法进行对比，不难看出Haar-like T 与LBP 特征结合的方法在Yale 人脸库上较HOG+SVM、LBP+KNN 方法的准确率有着较高地提升，与LBP、ULBP、CNN、Haar-like+LBP 方法相比较有着略微的优势，且本文方法比Haar-like+LBP 方法所用的时间更少，Haar-like T 方法有着更符合人脸几何分布的特征提取方式，且速度更快，效率更高。CNN 由于受到训练数据较少的影响，对人脸特征提取不足，而导致识别率较本文方法偏低。这说明Haar-like T 在面对训练数据较少的数据集时，有比HOG+SVM 与LBP+KNN 方法更好的互补性，以提升识别率。相比于LBP 和ULBP 方法受到的光照和姿态等方面的影响更少，具有更好的鲁棒性。

3.3 ORL 人脸库及实验

该数据集由英国剑桥大学AT&T 实验室创建，其图像规格为92×112，灰度值最高为256。包含40种不同性别的，不同人的人脸图像，每个个体包含13 张不同姿态的人脸图像，有不同表情，睁眼闭眼，是否戴眼镜，拍摄角度的不同，并且每个个体增加部分遮挡图片，共400 余张面部图像。ORL 人脸数据库样图如图12 所示。

图12 ORL 人脸数据库样本图Fig.12 ORL face database sample image

在数据集的分配上，本文将每人的前5 张作为训练样本，其余作为测试样本。在该数据集本文对HOG+SVM、LBP+KNN、LBP、ULBP、Haar-like+LBP、CNN 方法与本文方法进行对比，结果如3 表所示。

在数据集数量较为充裕且加入了部分遮挡图片的ORL 人脸库中，以上7 种方法方法识别率对比，Haar-like T+LBP 方法比CNN 方法的识别率稍低，由于ORL 人脸库有着较多的数量的图片，卷积神经网络对于人脸特征的提取更加精确，以致卷积神经网络在ORL 人脸库上的识别率比本文方法稍高，也表明在训练图片较多时，CNN 网络在识别率方面有着比本文方法稍好地表现，但卷积神经网络也存在网络的过拟合，泛化能力不足的问题，本文方法相较于CNN 网络的训练时间较短，识别率相近，有其自身优势。在此数据集上本文方法与HOG+SVM、LBP+KNN 方法相比较任然有较好的识别率，有着更好的互补性，而与LBP 和ULBP 方法的比较中，体现出了本文方法在面对不同光照和姿态时，有着较好的鲁棒性，比Haar-like+LBP 方法所用时间更少，识别率更精确。

4 结语

针对卷积神经网络运用于人脸识别，在训练数据较少而造成训练特征不足，同时也可能出现网络的过拟合，泛化能力不足等缺陷，本文结合Haarlike T 和LBP 特征的算法进行人脸识别的研究。实验结果表明，Haar-like T 在人脸的检测上有着较高的检测率与精度，Haar-like T 和LBP结合的方法在Yale 和ORL 人脸库中有着较好的识别效果，对光照具有较强的鲁棒性，对光照不敏感，同时对人脸的识别时间更短，具备良好的可行性。