分块Gabor结合梯度直方图的特征提取算法

林克正,张元铭,李昊天

(哈尔滨理工大学 计算机科学与技术学院,哈尔滨 150080)

1 引 言

人脸识别技术始于20世纪,是新兴的综合性的工程,涉及机器学习,数字图像处理与模式识别等多门计算机专业课程.随着人脸识别技术的不断成熟,人脸识别技术越来越多的被应用到各个领域,包括交通,医药,警务等.人脸识别极大的提高各工作部门的工作效率[1,2].

图像的特征提取是对图像识别分类最主要的方法,特征提取就是找到图像最重要本质的特征并将其数值化.随着人脸识别技术的不断成熟,越来越多具有良好不变性特征和应用价值的特征描述子被发掘研究,例如HOG(Histogram of Oriented Gradients)[3,4]、LBP[5,6]、Gabor[7]特征等.而单一的HOG特征提取方法忽略了图像的局部特征,单一的Gabor特征提取后图像特征维数太大,且不具备亮度变化保护不变等要素,这就导致有时候单一的特征提取方法对一些复杂目标的图像并不能获得令人满意的提取结果,多种特征及提取方法的融合[8]因其可以发挥各自优势而成为必然的选择.

本文提出了一种基于分块Gabor的梯度直方图特征提取算法.该方法首先将待识别的人脸图像通过Gabor特征提取方法得到图不同尺度和方向的图像Gabor特征,然后对特征从尺度和方向两方面进行融合并分块,最后对分块后的图像特征再进行HOG特征提取,对提取到的HOG特征进行PCA降维,得到新的H-G特征.该算法相较于其他传统识别方法具有更高的识别精度和准确度,并且该算法对于人脸所具有的光照、姿态表情等变换均有良好的有效性和鲁棒性.

2 Gabor特征提取

Gabor小波是一组窄带通滤波器,在空间域、频率域都有很好的分辨能力,拥有多尺度和多方向特性[9].2D-Gabor小波的核函数定义为

复数表达:

g(x,y;λ,θ,φ,σ,γ)

(1)

复数表达中实数部分:

g(x,y;λ,θ,φ,σ,γ)

(2)

复数表达中虚数部分:

g(x,y;λ,θ,φ,σ,γ)

(3)

其中:

x′=xcosθ+ysinθ

(4)

y′=-xsinθ+ycosθ

(5)

3 基于分块Gabor的梯度直方图特征提取算法

基于分块Gabor的梯度直方图特征提取算法首先将待识别的人脸图像通过Gabor特征提取方法得到图不同尺度和方向的图像Gabor特征,然后对特征从尺度和方向两方面进行融合并分块,之后对分块后的图像特征再进行HOG特征提取,得到图像的H-G特征.最后对提取到的H-G特征进行PCA降维.

在对图像进行两种特征提取之前首先对图像进行预处理步骤:

1)对检测到的图像进行灰度变换,在人脸图像的识别中对图像的处理大部分都在灰度图像下进行.

2)对图像进行降噪处理,为防止噪声对于图像识别的干扰,要对图像进行降噪.

3.1 Gabor特征融合与分块

3.1.1 特征的融合

通过Gabor特征提取方法得到了5个尺度,8个方向的Gabor特征.对于提取得到的Gabor特征的融合,首先对同一尺度不同方向的特征进行融合.融合后可以得到5幅特征图像,再将5个不同尺度的特征进行融合得到最终的Gabor特征.这种融合方法在提取到有效人脸特征的同时减少了特征部分的数据冗余.

用fmn(x,y)表示得到的5个尺度,8个方向的Gabor特征.其中m取1到5,n取1到8.

首先融合同一尺度不同方向的Gabor特征,即

(6)

利用公式(6)对Gabor特征进行融合后得到F1,F2,F3,F4,F5五个不同尺度的特征.对不同尺度的特征在进行融合得到最后的Gabor特征.对于不同尺度的融合,直接采用求均值的方式进行融合,这样最简单有效的保存了原有的图像特征.

(7)

3.1.2 特征的分块

对融合后得到的新的Gabor特征进行分块,本文采用多种分块方式对特征进行分块,分别是2×2,2×4,3×3,4×4四种分块方式.通过在人脸数据库的识别率实验选择最优识别率的分块方式.

3.2 H-G特征提取

对于融合分块后的得到的Gabor特征,进行HOG特征提取.梯度直方图HOG由法国研究人员Dalal在2005年CVPR会议上提出的特征提取算法,并将其与SVM分类器配合,用于行人检测[11].在他的博士毕业论文中有对HOG特征更加详细的描述.HOG算法的主要目的是将灰度化,归一化的图像进行梯度计算,统计图像的梯度信息[12].

HOG特征提取的具体步骤为:

1)对图像进行灰度化处理;

2)利用Gamma方法对图像全局归一化;

Gamma的压缩公式:

I(x,y)=I(x,y)gamma

(8)

对于gamma的值来说,当gamma<1时,在高灰度值区域内,动态范围变小,图像对比度降低,图像整体灰度值变大,显得亮一些;反之当gamma>1时,在低灰度值区域内,动态范围变小,图像对比度降低,图像整体灰度值变小,变得暗淡.

3)对处理后的图像进行梯度大小和梯度方向的计算;

像素点(x,y)的梯度为:

Gx(x,y)=H(x+1,y)-H(x-1,y)

(9)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(10)

其中H(x,y)表示像素点(x,y)的像素值,Gx(x,y)表示像素点(x,y)的水平方向梯度,Gy(x,y)表示像素点(x,y)的垂直方向梯度.

在图像中每一个像素点(x,y)的梯度大小和方向分别为:

(11)

(12)

4)将图像划分成小的细胞单元(cell);

5)统计每个cell的梯度直方图,即可形成每个cell的HOG特征;

本文算法中将细胞单元的梯度方向分成9个方向块.

6)将几个细胞单元(cell)组成一个块(block).把一个block内所有cell的HOG特征串联起来归一化便得到该块的HOG特征;

归一化能够克服局部光照变化和对比度变化造成的梯度变化范围较大的影响,进一步地对光照、阴影和边缘进行压缩.

归一化之后的块特征描述符就称为HOG描述符.将该图像内的所有块的HOG特征串联起来就可以得到该图像的HOG特征了.通过对融合分块后的Gabor特征进行HOG提取得到H-G特征.

3.3 H-G特征的PCA降维

主成分分析PCA(Principal Component Analysis),也称为卡尔胡宁-勒夫变换(Karhunen-Loeve Transform)[13].PCA算法降维的过程主要是将相关性低的高维数据组投射到一个相关性高的低维数据组.

PCA算法的主要过程如下:

计算图像的协方差矩阵

假设有P幅M×N人脸图像作为训练学习样本,P幅训练图像记为[x1,x2,…,xp]T,那么P幅人脸图像的平均向量μ可以表示为:

(13)

则样本协方差矩阵为:

(14)

其中Φ=xj-μ,j=1,…,P.

计算协方差矩阵的特征向量,将计算所得特征向量按照从小到大的顺序排列,取前d个较大的特征向量,形成一个新的向量序列,组成投影子空间:

ω=[ω1,ω2,…,ωd]

(15)

将P幅训练样本分别投影到特征向量子空间,获得训练样本投影矩阵:

B=[B1(d),…,Bj(d)],j=1,…,P

(16)

通过PCA降维得到最终的H-G特征.

4 实验结果与分析

实验通过matlab工具平台进行实验,实验运行环境为InterCore I5处理器,8GB内存,windows10操作系统.由于ORL人脸数据库应用较为普遍,实验首先选择ORL人脸数据库,由于YALE人脸库在表情、光照以及姿态等方面具有较大的变化,针对YALE人脸库进行的实验更具说服力,实验又选择了YALE数据库.通过ORL与YALE两个人脸数据库的实验来验证人脸识别算法的可行性,对图像的识别分类采用SVM[14]分类器.实验结果分别与PCA算法[15,16]、Gabor[17]特征提取算法以及HOG[18,19]方法进行了比较.

4.1 基于ORL人脸数据库的分块实验

ORL(Olivetti Research Laboratory)人脸库中包含40人的10幅人脸图像,共400幅.每个人有10幅不同姿态与表情的正面人脸图像.

在ORL人脸库中对于不同分块方法的测试共进行4次实验,每一次对人脸进行不同方式的分块,通过对四种分块方式所得的实验结果进行比较,选取最佳的分块方式,得到最佳的实验结果即为本文方法的最终分块结果.

取人脸库中每一个人的前N幅图像用于训练样本,后10-N幅图像用来测试.本实验中N取4、5、6、7、8.实验结果如表1及图1所示.识别率用百分制表示.

从表1和图1可以看出在ORL人脸数据库的实验中,选择3×3Gabor分块后的图像识别效果最好.

4.2 基于ORL人脸数据库的H-G算法实验

选择最优分块后,选择最优分块后,对分块后的Gabor图像进行HOG提取.图2为经过HOG提取的特征结果示意图.将最优分块的H-G特征算法与PCA+SVM算法,Gabor特征+SVM算法,HOG特征+SVM算法进行识别率的比较检验算法的可行性.

表1 ORL人脸库中各分块识别率的比较
Table 1 Comparison of block recognition rates in ORL face database(%)

训练样本数(N)456782×2Gabor分块78.481.385.691.492.82×4Gabor分块81.283.588.493.995.73×3Gabor分块84.789.692.494.597.84×4Gabor分块82.686.790.792.494.8

取人脸库中每一个人的前N幅图像用于训练样本,后10-N幅图像用来测试.本实验中N取4,5,6,7,8.实验结果如表2及图3所示.识别率用百分制表示.

图1 ORL数据库上不同分块识别率的比较Fig.1 Comparison of different block recognition rates on ORL database

从表2和图3可以看出融合不同尺度方向的Gabor特征后再进行HOG特征提取的到H-G特征的识别效果明显优于其他单一的特征提取方法.这主要因为新的H-G特征融合了人脸图像的全局特征和边缘特征,加强了人脸图像的完整性,同时也降低了图像模糊部分对于识别效果的干扰.

图2 HOG特征提取结果示意图Fig.2 Schematic diagram of HOG feature extraction results

表2 ORL人脸库中各算法识别率的比较
Table 2 Comparison of recognition rates of various algorithms in ORL face Database(%)

训练样本数(N)45678PCA算法77.381.491.592.793.5Gabor特征84.589.191.793.194.0全局HOG85.389.592.793.894.6本文方法(H-G特征)89.092.293.995.696.4

4.3 基于YALE人脸数据库的分块实验

YALE人脸库中共包含15个人的11幅人脸图像.共165幅图像.由于YALE人脸库在表情、光照以及姿态等方面具有较大的变化,针对YALE人脸库进行的实验更具说服力与可行性.

图3 ORL人脸库中不同样本识别率的比较Fig.3 Comparison of different sample recognition rates in ORL face database

在YALE人脸库中对于不同分块方法的测试共进行4次实验,每一次对人脸进行不同方式的分块,通过对四种分块方式所得的实验结果进行比较,选取最佳的分块方式,得到最佳的实验结果即为本文方法的最终分块结果.

在实验中,随机地选取YALE人脸库中每一个人的前N幅图像用于训练样本,后11-N幅图像作为测试样本.本实验中N取(4-8).各特征的识别结果如表3和图4所示.识别率用百分制表示.

表3 YALE人脸库中各分块识别率的比较
Table 3 Comparison of block recognition rates in YALE face database(%)

训练样本数(N)456782×2Gabor分块80.483.687.590.793.42×4Gabor分块81.884.489.295.496.43×3Gabor分块84.890.493.396.498.34×4Gabor分块83.388.692.694.695.8

从表3和图4可以看出在YALE人脸数据库的实验中,同样是选择3×3Gabor分块后的图像识别效果最好.

图4 YALE数据库上不同分块识别率的比较Fig.4 Comparison of different block recognition rates on YALE database

4.4 基于YALE人脸数据库的H-G算法实验

选择最优分块后,对分块后的Gabor图像进行HOG提取.图5为经过HOG提取的特征结果示意图.将最优分块的H-G特征算法与PCA+SVM算法,Gabor特征+SVM算法,HOG特征+SVM算法进行识别率的比较检验算法的可行性.

图5 HOG特征提取结果示意图Fig.5 Schematic diagram of HOG feature extraction results

在实验中,随机地选取YALE人脸库中每一个人的前N幅图像用于训练样本,后11-N幅图像作为测试样本.本实验中N取(4-8).各特征的识别结果如表4和图6所示.识别率用百分制表示.

表4 YALE人脸库中各算法识别率的比较
Table 4 Comparison of recognition rates of various algorithms in YALE face Database(%)

训练样本数(N)45678PCA算法76.479.387.691.593.2Gabor特征84.190.092.092.394.1HOG特征84.589.191.793.194.5本文方法(H-G特征)85.592.193.595.095.7

通过表4和其对应的的折线图6可以看出,采用基于分块Gabor的梯度直方图特征提取的方法明显地优越于PCA算法、单纯的Gabor提取方法以及HOG特征提取的方法,主要因为新的H-G特征提取方法相比于传统的HOG特征和Gabor特征对人脸特征的描述更为全面,H-G特征在提取人脸面部全局特征的同时也让人脸图像的边缘信息更加完整,使得图像的识别效果明显提高.

图6 YALE人脸库中不同样本识别率的比较Fig.6 Comparison of different sample recognition rates in YALE face Database

5 结束语

本文提出了一种分块Gabor集合梯度直方图的特征提取算法.该算法融合了Gabor小波提取的全局特征和HOG特征提取的图像边缘特征.一方面充分保留了人脸图像的完整性和清晰度,降低了模糊部位对于识别效果的干扰,另一方面继承了HOG小波能够克服全局干扰对识别效果的影响的能力,使得识别效果显著增强.对于人脸的光照、姿态、表情等干扰因素,该算法显示出良好的有效性和鲁棒性.但是该算法还存在着一些不足之处,在实验中对人脸进行分块时没有探究不同区域大小对图像进行分块对图像识别效果的影响.接下来的工作重心将研究不同区域大小对图像进行分块,争取更完整的突出人脸的关键区域,使得人脸关键部位的影响程度更完全的体现.