利用特征信息的加权典型相关分析算法

顾高升，葛洪伟，周梦璇

(1.江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡 214122；2. 江南大学 物联网工程学院，江苏 无锡 214122)

0 引 言

在模式识别和机器学习领域[1]中，同一对象能够获取多组特征信息，这些特征信息能够从各个方面有效地表示该对象的属性特征，例如，人脸特征能够由肤色、形状、眼睛、发色等信息组成，一个网页属性包含网页文本、超链接、域名、标题等信息。但对于多组特征的学习，经典的单视图学习方法，如主成分分析(principal component analysis, PCA)[2-3]，并不能有效地抽取出完备的特征，因此，对多组特征的信息融合算法是非常有意义的，多视图学习[4]也成为模式识别领域研究的热点之一。

典型相关分析(canonical correlation analysis, CCA)[5-6]是一种经典的多视图学习方法，其研究了同一对象的2组变量之间的关系。与单视图的PCA不同，CCA通过最大化2组线性组合后的特征相关性，提取出多组典型相关特征。至今，CCA被用于很多领域的信息融合中，例如模式识别、图像处理、机器视觉、医疗卫生、天气预测等。偏最小二乘(partial least squares, PLS)[7]是另一种经典多视图学习方法，其目标函数是使得特征之间的变异性及相关性最大化。Borga[7]基于Rayleigh商和广义特征值问题建立了CCA与PCA、多元线性回归(multvariate linear regression, MLR)以及PLS的统一模型。Sun等[8]首次将CCA用于模式识别领域，利用CCA提取特征，并获得满意的实验结果。但CCA从本质上来讲是一种线性子空间学习方法，对于全局非线性的情况，CCA并不能提取有表现力的典型相关特征。因此，S. Akaho等[9]将核技术引进CCA，将原始空间中的特征扩展到更高维度空间中，提出核典型相关分析(kernel canonical correlation analysis, KCCA)。CCA的求解需要转化为对应的广义特征值求解，在模式识别中，对高维样本的不充分采样会导致高维小样本问题[10]，CCA的协方差矩阵极有可能奇异，使得算法的性能降低。为了克服小样本问题，文献[11]提出一种完备的典型相关分析(complete canonical correlation analysis, C3A)，通过矩阵分解，提取出完整的典型相关特征，实验结果[11]显示，C3A能够保留完整的特征信息，算法的识别率得到提高。另外，文献[12]提出了一种新颖的鲁棒典型相关分析(robust canonical correlation analysis, ROCCA)，利用近似矩阵代替奇异的协方差矩阵进行广义特征值分解，实验结果显示，ROCCA能够提高算法的鲁棒性，识别效果得到提高。但以上CCA的改进算法却都忽视了特征的重要性，从特征角度来看，传统CCA对每个特征都是公平对待，如果采样数量较少，那么重要特征与次要特征将无法区分，提取出来的典型相关特征缺乏表现力和鉴别性。

文献[13]讨论了局部特征对类标签的影响，提出一种局部特征选择方法(local feature selection, LFS)，在分类过程中将能够表现类标签的重要局部特征置为1，次要的局部特征置为0，并设计出新的相似度量测量方法。实验结果显示，局部特征对分类有着重要影响，不同样本的局部特征对于其所属的类标签的重要程度不同，选取出重要的局部特征用于分类，能够有效地提高分类的精确度。本文受文献[13]的启发，提出一种利用特征信息的加权典型相关分析(weighted canonical correlation analysis, WCCA)。WCCA将局部特征的思想用于特征提取的阶段，但并不是如文献[13]中简单的二值化局部特征的权重，而是基于如下的思想：散布程度大的特征的重要性不低于散布程度小的特征，相关性强的特征的重要性不低于相关性弱的特征。因此，在提取特征前根据该特征的散布程度，即方差，赋予适当的权重，提取后的特征被其对应的相关系数赋予相应的权重。在人脸识别和图像分类的实验结果显示，WCCA提高了算法识别与分类的精确度，WCCA的可行性和有效性得到了验证。

1 典型相关分析

给定一组大小为N且已经中心化处理后的样本对

X=[x1,x2,…,xN]∈Rp×N

Y=[y1,y2,…,yN]∈Rq×N

(1)

CCA[5]是为了寻找一组投影方向α∈Rp×1和β∈Rq×1，使得原始特征在投影后的相关性最大化，目标优化函数为

(2)

(2)式中：(·)T表示矩阵的转置；Sxy=XYT是样本的互协方差矩阵；Sxx=XXT和Syy=YYT分别是X和Y的协方差矩阵。

2 基于局部特征选取的分类器

Armanfard等[13]提出一种基于局部特征选取的分类器模型(localized feature selection,LFS)。区别于传统的分类器，LFS并不选取全部的特征用于分类器的构造，而是根据样本的类标签信息，对每个样本选取出使同类样本距离最小化，异类样本距离最大化的局部特征用于分类任务。其数学模型表示为

(3)

3 加权典型相关分析

3.1 数学模型

假设在(1)式中，样本的互协方差矩阵Sxy=XYT，设X=[a1,a2,…,ap]T，Y=[b1,b2,…,bq]T，ai∈RN×1和bi∈RN×1分别是X和Y的第i个特征的特征向量。对Sxy进行展开

(4)

同理可得

(5)

可以看出，传统CCA中，样本间的互协方差Sxy以及样本内的协方差Sxx和Syy这3个矩阵对样本的特征都未处理，即其特征的权重都是一致的，都为1。CCA仅线性组合全部的特征提取出典型相关特征，因此，CCA不能有效地考虑到重要特征与次要特征的区别。因此，传统CCA提取的特征不能完全反映出特征的性质。尤其在小样本情况下，次要特征极有可能掩盖掉重要特征的信息，导致提取出来的特征无表现力和鉴别性。

为解决传统典型相关分析的缺陷，本文引入局部特征思想，提出一种利用特征信息的加权典型相关分析(weighted canonical correlation analysis, WCCA)。WCCA基于一种朴素的思想：散布程度大的特征的重要性不低于散布程度小的特征，相关性强的特征的重要性不低于相关性弱的特征。因此，本文提出的WCCA从2个方面对局部特征进行重要性加权。在统计学领域[14]，样本的方差能够代表其散布程度：方差越大，样本越分散；方差越小，样本越集中。经典的Pearson系数[14]能够有效地度量2组变量之间的相关性，Pearson系数取值为-1～1，当Pearson系数为-1时，2组变量之间成负相关；当Pearson系数为0时，2组变量之间无相关；当Pearson系数为1时，2组变量之间成正相关，Pearson系数越大，2组变量之间的相关性就越强。因此，WCCA一方面对于原始特征采用其方差信息进行适当加权；另一方面对提取后的特征通过对应的相关性进行适当加权。WCCA的具体数学模型表示为

(6)

3.2 处理操作函数

由于图像的采集受光照、姿态等外界因素的影响，因此，在原始特征中，大方差特征包含更多的光照、姿态等外界因素信息，小方差特征则与此相对。在此种情况下，如直接对大方差信息进行方差加权，势必会增强外界因素产生的干扰信息，而对于小方差特征来说，会削弱其图像的本征信息。因此，再根据3.1节中的朴素思想之一：散布程度大的特征的重要性不低于散布程度小的特征，采用(7)式的方差处理操作函数f(·)和g(·)。

i∈{1,2,…,p}

j∈{1,2,…,q}

(7)

k∈{1,2,…,d}

(8)

3.3 模型求解

(9)

根据文献[15]，(9)式的求解可以转化为广义特征值问题

(10)

(11)

(12)

本文采用文献[8]中的串型特征融合策略进行特征融合，即

(13)

3.4 算法流程

WCCA算法具体描述如下。

1)给定一组大小为N且已经中心化处理后的样本对作为输入数据集

X=[x1,x2,…,xN]∈Rp×N

Y=[y1,y2,…,yN]∈Rq×N

(14)

根据(2)式计算样本协方差矩阵Sxx，Syy和互协方差矩阵Sxy；

2)首先，重新描述数据集X和Y

X=[a1,a2,…,ap]T

Y=[b1,b2,…,bq]T

(15)

(15)式中，ai∈RN×1和bi∈RN×1分别是X和Y的第i个特征的特征向量；

①计算各个特征对应的特征方差λi=var(ai)，i=1,2,…,p，μi=var(bi)，i=1,2,…,q；

(16)

用于后续的模式识别任务中。

4 实验结果和分析

为验证本文算法WCCA的可行性和有效性，本节在ORL人脸数据库*http://www.cl.cam.ca.uk/research/dtg/attarchive/facedatabase.html、AR人脸数据库*http://www2.ece.ohio-state.edu/～aleix/ARdatabase.html和COIL20对象数据库*http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php上进行识别实验。将WCCA与PCA，CCA，PLS，ROCCA和C3A等相关算法进行性能的对比。为了解决小样本问题[9]，本文采取PCA预处理降维，避免CCA及其改进算法中协方差矩阵奇异的情况。

PCA需要将2组特征首尾相连以形成新的高维特征向量，然后用PCA进行特征提取。CCA，PLS，ROCCA和C3A提取特征后，通过串型特征融合的方式[8]，即将2组降维后的特征首尾相连地串接在一起进行识别分析。在本节的实验中，WCCA的u和v分别取1和2。分类器采用K最近邻(K-nearest neighbor, KNN)分类器[8]，K取1。算法识别的性能通过识别率来衡量，识别率越高(越接近100%)，算法性能越好；识别率越低(越接近0)，算法性能越差。另外，通过识别率的标准差衡量算法的稳定性，标准差越小，算法的稳定性越高。

4.1 ORL人脸数据库

ORL人脸数据库包含40名志愿者人脸姿态较大的400张灰度图片，每人10张图片，每张图片包含92×112像素。ORL数据库中的每张人脸图片分别拍摄于不光照条件下，具有差异较大的面部表情和细节，人脸的尺度、平面旋转和深度旋转分别达到10°，20°和20°。图1显示了ORL数据库中第1个人的10张灰度图片。

在本节实验中，从每个人的10张灰度图片中随机选取5，6，7和8张图片用于训练，剩余的图片样本用作测试。对每张图片分别提取局部二值模式(local binary pattern, LBP)[16]和方向梯度直方图(histogram of oriented gradient, HOG)[17]2组特征。在文献[18]中，LBP和HOG及其组合特征在图像识别的可行性已经得到验证。本节为避免高维小样本导致协方差矩阵奇异，用PCA将LBP和HOG特征约减至80维。

图1 ORL数据库中第1个人的10张灰度图片Fig.1 10 gray images of the first person on ORL database

图片数目平均识别率/%PCACCAPLSROCCAC3AWCCA587.5592.7588.1093.1092.3593.65690.3195.9490.3895.8195.8796.50791.4296.5091.6797.2596.6797.33892.3898.0093.1398.0097.5098.62平均90.4295.8090.8296.0495.6096.53

表1显示了WCCA与5种对比算法在ORL数据库上基于LBP和HOG特征组合的独立10次实验的平均识别结果。由于ORL数据库具有较大的脸部转动，样本的特征具有较大的方差信息，因此，给特征进行适当加权能够提取出更加具有鉴别性和表现力的特征。从结果显示，本文的识别算法WCCA比其他算法更优，加权之后提取出来的特征在分类的效果上更佳，尤其与CCA对比，WCCA的识别效果显著提高，验证了WCCA的有效性。

为进一步分析WCCA与对比算法的性能，从每个人的10张图片中随机选取5张用于训练，剩余用于测试，并独立进行10次实验。图2显示了5种多视图算法随抽取后的特征维数变化的平均识别结果。从图2中可以看出，为样本特征加权的WCCA抽取的特征比CCA和C3A的特征更加具有鉴别性，而且在特征维数达到120以上，WCCA的识别率趋于稳定，识别的效果明显优于其他4种多视图算法。图2的实验结果再次验证了WCCA的可行性和有效性。

图2 5种多视图算法随维度变化的平均识别结果Fig.2 Average recognition rates of 5 multi-view algorithms with dimension

4.2 AR人脸数据库

AR人脸数据库是由70个男性和56个女性的4 000余张彩色图片构成的，每人26张图片，每张图片包含40×50像素，这些图片分别反映了人脸的表情特征、光照明暗和有无遮挡等情况。本文选取其中120人，每人14张无遮挡的图片，共计1 680张，并将图片进行灰度化处理用于实验分析。图3显示了AR数据库中第1个人的14张无遮挡的灰度图片。

图3 AR数据库中第1个人的14张灰度图片Fig.3 14 gray images of the first person on AR database

本节实验中，从每个人的14张图片中分别随机选取7，8，9和10张图片用于训练过程，剩余的图片用于测试，随机独立10次实验，取平均结果。实验中，特征采用从每张图片提取出LBP和HOG 2组特征，并且为尽量避免协方差奇异，采用PCA预处理将LBP和HOG 2组特征都降维至50维。

6种算法在AR数据库上的平均识别结果如表2所示。从实验结果看，WCCA的算法性能比其他5种算法较优，其中，相比于CCA和C3A的效果略好，这是由于AR数据库有明显的光照和表情差异，对特征的适当加权能够更加凸出人脸原始特征，降低外界因素信息的干扰，WCCA抽取的特征更加具有表现力和鉴别性。由于本数据库的样本都是正面无遮挡的图片，样本中包含野值点的情况较少，因此，鲁棒的ROCCA的性能较差，但这也反映出来，在野值点较少，适当地赋予特征权重，能够有效地提高算法的识别率，WCCA的可行性得到验证。

表2 6种算法在AR数据库上的平均识别结果

图4显示了每人随机选取7张图片用于训练，剩余用于测试，进行10次独立实验，5种多视图算法随维度变化的平均识别结果。从图4中可以看出，WCCA的识别率明显好于其他4种算法，在维度达到70时，WCCA趋于收敛，CCA和C3A的识别率也与WCCA越来越接近，但在维度小于70的情况下，WCCA的识别效果明显高于CCA和C3A，说明WCCA提取的特征较CCA和C3A更加具有鉴别性和表现力，验证了WCCA的有效性和可行性。

图4 5种多视图算法随维度变化的平均识别结果Fig.4 Average recognition rates of 5 multi-view algorithms with dimension

4.3 COIL20对象数据库

COIL20对象数据库包含20个不同对象的1 440张灰度图片，每个对象分别从0°～360°间隔5°采集一张图片，共计72张图片，每张图片大小为128×128像素，其中，有玩具鸭、玩具汽车、招财猫等，如图5所示。从图5中可以看出，各个对象之间具有较大的几何特征差异。

图5 COIL20数据库中20个对象Fig.5 20 objects on COIL20 database

本节实验随机选取每个对象的10，15，20和25张图片用于训练集，其余的图片组合成测试集，独立进行10次实验，取其平均的识别结果。如ORL和AR数据库中的实验，对每个对象的图片提取出LBP和HOG 2组特征，为保证协方差矩阵的非奇异性，对每组特征进行PCA降维至50维。

6种算法在不同训练样本数量下的平均识别结果如表3所示。COIL20数据库本身具有较大的旋转差异，对象的外形差异也较大，因此，对特征进行加权处理，一方面既可以抑制旋转差异的影响；另一方面凸出重要特征对各个对象的表现力。从表3中可以看出，在样本数量较少的情况下，能够抑制旋转因素的WCCA的识别率比其他5种算法高，在样本数量较大时，即为25，旋转因素的干扰性增强，鲁棒的ROCCA获得最佳的识别效果，但WCCA的识别率与最优值差距较小。从整体的平均识别率来看，WCCA的效果优于其他5种算法，其可行性得到验证。

表3 6种算法在COIL20数据库上的平均识别结果

为了研究算法随维度变化的识别率，随机选取每个对象的10张图片用于训练，剩余用于测试，并独立进行10次实验，取其平均结果，如图6所示。

图6 5种多视图算法随维度变化的平均识别结果Fig.6 Average recognition rates of 5 multi-view algorithms with dimension

从图6中可以看出，由于COIL20数据库的对象存在较大的差异，在维数较少的情况下，鲁棒的ROCCA提取的特征具有较好的效果，但稳定性较差。WCCA随维数的增加，其稳定性较好，其识别率稳步上升，当维数较大时，即为85，WCCA的识别率超过ROCCA，并优于其他4种多视图算法。在此种小样本的情况下，WCCA在高维数的优势尤其明显，验证了WCCA的有效性和可行性。

4.4 识别率的标准差分析

在上述3个真实数据库的实验基础上，本小节选取部分实验结果进行WCCA和对比算法的识别率的标准差分析[19]，分别在ORL上每类图像中随机选取5和7张图像，在AR上每类图像中随机选取7和9张图像，在COIL20上每类图像中随机选取10和20张图像，各独立进行10次实验。表4显示了各算法在不同数据库下识别率的标准差。

表4 6种算法在3种数据库上的识别率的标准差

从表4中可以看出，在大部分的实验中，WCCA算法识别率的标准差并不是最佳，但在6组实验数据中，有5组实验结果显示WCCA的标准差比传统CCA，PCA和PLS的小，由此可以看出，WCCA在传统CCA上的改进具有有效性，算法的稳定性得到提升。但是，相对于鲁棒的ROCCA和完备的C3A，WCCA的标准差略高，WCCA算法的稳定性还有一定的提升空间。

4.5 时间复杂度分析

根据文献[8]，传统CCA的算法复杂度在于二次矩阵逆运算和一次特征值分解，分别记为Oinv和Oeig。因此，传统CCA的时间复杂度O(CCA)=2Oinv+Oeig。

根据(10)式可得到如下的等量关系

(17)

因此，WCCA在求解(11)式时可以只求解其中一个特征值问题，得到一组投影向量集，再通过(17)式得到另外一组投影向量集。求解(11)式的一个特征值问题需要经过二次矩阵逆运算和一次特征值分解。由于WCCA需要进行特征加权，所以WCCA的时间复杂度为

O(WCCA)=2Oinv+Oeig+O((p+q)N)

(18)

一般而言，矩阵的求逆运算和特征值分解都是非线性时间的运算，Oinv和Oeig远大于O((p+q)N)，所以，进行放缩后得到时间复杂度关系为

O(WCCA)=2Oinv+Oeig=O(CCA)

(19)

即，WCCA和原始的CCA具有相同的时间复杂度。

4.6 参数选择

根据(7)式和(8) 式，WCCA具有2个可调参数u和v。根据(7)式和(8) 式中的定义，参数u和v分别控制着方差加权和相关性加权。本小节分析参数u和v对WCCA的影响，并给出参数u和v的选择方案。选取ORL数据库进行参数选择实验，从每类图像中随机选取5张图像进行训练，其余的图像用于测试，独立进行10次随机试验，选取最佳的识别率(%)，并取10次实验的平均值作为算法的识别率效果度量。参数u和v分别选择如下2个集合

u∈{0.0001,0.001,0.01,0.1,0.5,1,1.5,2,3,4}

v∈{0.01,0.1,0.5,1,1.5,2,2.5,3,4,5}

(20)

WCCA在参数u和v各种组合下的识别率如图7所示。

从图7中可以看出，识别率较高的部分在于u取0.5，1和v取1.5，2，2.5，3，4，5的组合，尤其当u取1，v取较大值时，识别率达到最佳。当u取值较大时，识别率下降明显，这是由于u加权的是小方差和小相关性的特征，而过大的u抑制了较大方差和相关性的特征属性，导致特征丢失，识别率下降。图7中的结果显示，当u取1时，能够有效提高小方差和小相关性特征的本征属性，且不会干扰较大方差和相关性的特征，进而提高WCCA的性能。另外，随着参数v的增大，识别率提高，在v取1.5时，识别率有较大提高，且当v取2及更大值时，WCCA获到最大识别率且稳定。这与参数v控制大方差特征的加权符合，参数v较小，使得WCCA的特征提取过程退化为传统CCA的特征提取，因此，参数v的选取应跨过较小方差和大方差特征的边界，当v取得适当值后，即图7中的2，WCCA的算法性能稳定，识别率取得最佳。因此，WCCA的参数u和v分别选取1和2附近的值时，算法的性能较为稳定，WCCA的识别效果较好，所以，本文实验参数u和v分别选取1和2。

图7 WCCA在参数u和v各种组合下的识别率Fig.7 Recognition rates of WCCA on the different combinations of u and v

5 结束语

本文在传统CCA的基础上，提出一种加权的典型相关分析(weighted canonical correlation analysis, WCCA)。文献[13]的研究表明，样本局部特征对于分类的重要性是不同的，对于局部特征的恰当使用能够提高分类的稳定性和精确度。传统的CCA在抽取特征阶段并不考虑样本特征之间的差异性，且对于抽取之后的特征也未加考虑其重要程度。因此，本文充分利用原始样本特征的方差信息和提取后特征的典型相关性，对原始样本和投影矩阵分别进行方差加权和相关性加权，并且充分考虑光照、姿态等外界因素对特征的影响，保留了较大方差的特征信息；为完全利用原始样本的特征信息，保留了小方差和小相关性特征的信息，弥补了CCA的缺陷，提高了算法性能。在人脸数据库(ORL，AR)和对象数据库(COIL20)上的实验结果验证了本文算法WCCA的可行性和有效性。但实验结果也显示出WCCA仍有不足之处，对于样本差异较大的COIL20数据库，在训练样本数量较大的情况下，WCCA较ROCCA仍有差异。接下来，考虑将局部流形学习思想或者监督技术引进WCCA，提高算法对于差异较大样本的算法稳定性和识别率，并将WCCA推广至3视图或更多视图的学习中，构建多视图下的加权典型相关分析模型。

参考文献：

[1] JAIN A K, DUIN R P W, MAO J. Statistical Pattern Recognition: A Review[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(1):4-37.

[2] JOLLIFFE I T. Principal Components Analysis[M]. New York: Springer-Verlag, 1986: 8-22.

[3] JIYONG O, NOJUN K. Generalized mean for robust principal component analysis[J].Pattern Recognition, 2016(54): 116-127.

[4] XU Y M, WANG C D, LAI J H. Weighted Multi-view Clustering with Feature Selection[J]. Pattern Recognition, 2016(53): 25-35.

[5] HOTELLING H. Relations between Two Sets of Variates[J]. Biometrika, 1936, 28(3-4): 321-377.

[6] 潘荣华,陈秀宏,曹翔.一种新的有监督的局部保持典型相关分析算法[J].计算机工程与科学, 2015, 37(6): 1175-1182.

PAN Ronghua, CHEN Xiuhong, CAO Xiang. A new supervised locality preserving canonical correlation analysis algorithm[J]. Computer Engineering and Science, 2015, 37(6): 1175-1182.

[7] BORGA M.Learning multidimensional signal processing[D]. Norrkoping: Linkoping University, 1998.

[8] SUN Q S, ZENG S G, LIU Y, et al. A new method of feature fusion and its application in image recognition[J]. Pattern Recognition, 2005, 38(12): 2437-2448.

[9] AKAHO S. A kernel method for canonical correlation analysis[C]//Psychometric Society.International Meeting of Psychometric Society. Tokyo: Springer-Verlag, 2001.

[10] YUAN Y H, SUN Q S, GE H W.Fractional-order embedding canonical correlation analysis and its applications to multi-view dimensionality reduction and recognition[J]. Pattern Recognition, 2014, 47(3): 1411-1424.

[11] XING X L, WANG K J, YAN T,et al.Complete canonical correlation analysis with application to multi-view gait recognition[J].Pattern Recognition,2016(50):107-117.

[12] AN L, YANG S F. Person Re-Identification by Robust Canonical Correlation Analysis[J]. IEEE Singal Processing Letters, 2015, 22(8): 1103-1107.

[13] NARGES A, JAMES P R, MAJID K. Local feature selection for data classification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(6): 1217-1227.

[14] WILLIAM M, TERRY S. Statistics for engineers and the sciences[M].5th ed.Upper Saddle River: Prentice Hall, 2006: 170-210.

[15] YUAN Y H, SUN Q S.Graph regularized multiset canonical correlations with applications to joint feature extraction[J]. Pattern Recognition, 2014, 47(12): 3907-3919.

[16] OJALA T, PIETIKAINEN N, HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51-59.

[17] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection[C]//IEEE. Processings of Conference on Computer Vision and Pattern Recognition. San Diego:IEEE Conference Publications,2005:886-893.

[18] 万源,李欢欢,吴克风，等.LBP和HOG的分层特征融合的人脸识别[J].计算机辅助设计与图形学学报, 2015, 27(4): 640-650.

WAN Yuan, LI Huanhuan, WU Kefeng, et al. Fusion with layered features of LBP and HOG for face recognition[J]. Journal of Computer-Aided Design & Computer Graphics, 2015, 27(4): 640-650.

[19] SU S Z, GE H W, YUAN Y H. Kernel propagation strategy: A novel out-of-sample propagation projection for subspace learning[J].Journal of Visual Communication & Image Representation, 2016(36): 69-79.