基于人体部件特征的行人重识别

苏曜，何坤，彭橦，惠子薇

（1.四川大学计算机（软件）学院，成都 610065；2.四川大学电子信息学院，成都 610065）

0 引言

行人重识别是指采集范围互不重叠的摄像头下所获取的行人视频流来识别同一行人。近年来，随着时代信息化、智能化的不断发展，行人重识别已成为大规模监控网络中行人目标跟踪［1］和人类行为分析［2］的一个重要课题。但由于所获取的图像中行人外观受光照、视角、姿态、遮挡等因素的影响，因此行人重识别仍面临巨大的挑战。

目前的行人重识别算法主要分为基于深度学习的方法和传统方法。基于深度学习的行人重识别算法一方面利用深度学习获取表征能力强的行人特征来提高识别准确率［3］，另一方面通过训练正负图像对得到具有较高识别能力的相似性度量网络［4］。基于深度学习的方法通过对大量的数据进行训练可以获得很好的效果，但是由于行人重识别数据集的数据量相对较少，所以其性能较差。

相比于基于深度学习的行人重识别方法，传统方法不需要进行大量的训练，对行人图像提取特征并识别更为高效。根据不同方法在行人重识别中的侧重点不同，传统方法可分为基于特征提取和基于度量学习的方法。基于度量学习的方法旨在通过学习距离函数或度量使类间差异最大而类内差异最小，其多采用马氏距离的度量方式，通过样本训练得到不同的度量空间。但是基于度量学习的方法在识别效果对样本的依赖程度很大，而且在不同场景下其性能表现也各不相同。

基于特征提取的方法关注于高效提取鲁棒的行人特征表示，为使所提取的特征更具判别性，需要选择合适的特征和提取方式来减轻或消除光照、视角变化等因素的影响。Gray等人［5］对行人图像划分为几个较大的水平区域并分别提取颜色和纹理特征，并利用Adaboost算法学习得到对视角变化鲁棒的ELF特征，但是该算法没有考虑行人局部特征的影响，识别准确率相对较低。Farenzena等人［6］提出SDALF特征，充分利用了行人的对称性质，首先用分割算法将行人分为头部、躯干和下肢三部分，再对各部件分别提取颜色特征和纹理特征，所得特征对姿态和视角变化鲁棒。但是该特征没有考虑光照对于颜色信息的影响，而且在提取过程中的对行人的分割效果较差，不利于提取鲁棒的特征表示。Liao等人［7］提出的LOMO特征通过Retinex算法处理光照变化，并最大池化水平方向的局部区域特征来解决行人的姿态、视角变化问题，显著提高了识别准确率。但是LOMO特征只描述了图像的一阶统计特征，而未考虑行人部件区域的二阶统计特征。

针对以上特征提取算法的不足，结合行人在竖直和水平方向上的特征分布情况，本文算法首先在竖直方向上对行人的不同身体部件进行部件检测，得到各部件在图像中的对应区域，并对各部件所在区域提取对应的二阶统计特征，再融合水平方向提取的一阶统计特征后，得到了更具鲁棒性的特征表示。实验结果表明，所提出的特征提取方法性能优异。

1 行人部件特征提取

在摄像头下所获取的图像中对行人提取特征时，根据图像中行人的特征分布状况来设计不同的提取方式能使特征更具鲁棒性。通过观察不同视角下行人图像的颜色、纹理特征的分布情况，不难发现：①在竖直方向上，行人不同身体部件的特征分布较为统一。②在同一水平方向上，行人的特征分布较为一致。对此，本文算法首先在竖直方向上对行人图像进行人体部件检测获取行人的不同身体部件，再对各部件所在区域提取具有二阶统计特性的协方差特征。在不同水平方向上，选取LOMO特征作为行人的一阶统计特征。最后融合不同方向所提取的具有不同统计特性的特征后，得到了鲁棒的行人特征表示。

然而，在对行人图像直接进行特征提取时，由于不同摄像头下光照条件不同，图像中同一行人的颜色特征会有不同程度的差异。因此，首先使用具有颜色不变的多尺度Retinex算法［8］来处理光照条件对行人图像的影响。在对行人图像进行光照处理后，同一行人的颜色信息能够保持一致，对图像进行人体部件检测与特征提取也更加准确。

1.1 一阶统计特征提取

在行人图像中，由于行人在同一水平方向上的颜色、纹理等特征较为一致，因此，在同一水平方向上选取合适的特征与特征的提取方式可以有效地描述行人的局部特征。水平方向上的特征提取提取流程如图1所示，首先在利用5×5的小块，以步长为5在同一水平方向上移动并分别提取对应位置的HSV颜色直方图和SLITP直方图作为行人局部的颜色和纹理特征。然后，最大化小块在同一水平方向上所有特征。最后将小块以步长为5向下移动以提取行人在所有水平方向上的特征。

图1 水平方向特征提取示意图

1.2 二阶统计特征提取

1.2.1 人体部件检测

在不同场景、不同视角下的行人图像中，行人姿态多变的特点在图片中表现为水平方向上行人手臂的位置多变，而在竖直方向上，行人的头部、躯干、大腿、小腿的形状与它们之间的位置关系相对稳定。利用这些部件的相对位置信息，结合曾春等人［9］通过实验得到的行人各部件在图像中的最佳分布区域，本文将行人图像划分为头部、躯干、左侧大腿、右侧大腿、左侧小腿、右侧小腿六个部件区域。针对六个部件所属的不同区域，并根据行人的胖瘦程度与步伐幅度，分别设计不同的模板来代表行人各部件的轮廓信息。行人图像各部件区域划分与相应模板图片如图2所示。为了使模板能够与行人图像准确匹配，六个部件的模板均能够在对应区域的水平或竖直方向上移动一定长度。

图2 人体部件与对应模板

在匹配阶段，仅利用边缘信息来计算模板与行人图像间的相似度可以显著提高匹配速度。在对模板图像求梯度，对行人图像用Canny算子进行边缘检测后，所得包含边缘信息的模板图像T与行人图像I之间的相似度距离公式如下：

其中， ||T表示模板图像T中的所有边缘点，τ为阈值参数。对于输入图像中的某一匹配点x，相似度距离是模板轮廓点与其在行人图像对应位置中最近边缘点之间的平均距离。模板与行人图像间的相似度距离越小，模板与行人对应部件的匹配度则越高。为了减小背景噪声影响并提升匹配的稳定性，Xie等人［10］进一步比较了边缘点间的梯度方向的相似度。其相似度可以通过最小二乘法求解下式得到：

其中ϕ是测量边缘点方向的函数（以弧度为单位）。行人各部件模板的轮廓与行人图像对应区域的相似度为：

其中，λ是取值为［0,1］之间的权重系数。最后，行人的不同部件所在区域可以通过行人部件检测得到。图3为通过本文人体部件算法得到的部分实验结果。

图3 VIPeR数据集上各方法的识别精度曲线

图3 部分人体部件检测结果

1.2.2 基于人体部件的特征提取

在对行人图像进行人体部件检测后，需要对所得各部件所在区域选择适合的特征进行提取。协方差特征作为一种不同于颜色直方图的二阶统计特征，通过计算图像某一区域内各像素点的颜色、梯度等信息的协方差矩阵，可以得到该区域的整体特征表示。对于区域内某一像素点的特征向量，本文选取颜色信息（YCbCr,HSV,Lab,nRGB）和梯度信息作为像素点(x,y)的特征表示：

其中，y为像素点在图像中的纵坐标，Yx,Yy,Yxx,Yyy表示像素在水平与竖直方向上的一阶、二阶梯度，由于不同颜色模型下的Y,L,V均代表亮度，因此只保留Y作为亮度信息。对于行人某一部件区域R，协方差矩阵可通过下式计算：

由于对人体各部件区域计算所得的协方差矩阵不在欧式空间下，直接进行度量计算并不能有效地识别行人身份。因此，本文使用Zeng等人［11］提出的用特征均值向量、特征标准差向量、特征相关系数向量和Sigma向量的组合来近似的代表协方差特征。其中，Sigma向量是根据Hong等人［12］提出的能够保持协方差特性的一种近似表示。在分别对行人的6个部件区域提取协方差特征后，得到了描述行人整体信息的二阶统计特征。

2 度量学习

在将所提取的特征进行融合得到基于人体部件特性的行人特征后，为衡量所得特征的判别性，各行人图像间的相似度由跨视图二次判别分析 （cross-view quadratic discriminantanalysis，XQDA）算法计算。该方法在高斯模型的基础上，根据KISSME算法［13］所推得的马氏距离函数，进一步学习一个子空间来处理视角变化，并降低特征维度：

其中 Σ′I=WTΣIW和 Σ′E=WTΣEW分别表示样本中相同行人间和不同行人间特征的协方差矩阵。该子空间的求解可以通过最大化相同行人间和不同行人间的差异求得：

3 实验结果与分析

本文算法在Intel（R）Core（TM）i5-9400 CPU 2.90 GHz，16 G内存的台式电脑上使用MATLAB2 019b实现，并在VIPeR、PRID450S数据集下进行实验验证和比较。

VIPeR数据集包含两个摄像头下的632个行人的1264张图像，且每一对行人图像均有较大视角和姿态的变化。为验证本文算法的性能，本文与现有的其他基于人体部件（SDALF［6］，PFI［14］）和局部特征提取（HSCD［11］，LOMO［7］）的行人重识别算法进行比较。在实验过程中，所有算法均随机选取316个行人的632张图像进行训练，在10次实验后求均值得到最终的识别结果。图3所示为VIPeR数据集上各方法的识别精度曲线图，从图中曲线可以直观得出，本文算法的整体识别精度明显高于对比算法。为了更准确的比较识别准确率，表1列出了所有算法rank=1，5，10和20的识别准确率。由表1可知，对比于SDALF，PFI等基于人体部件特征的方法，本文算法在rank=1的识别准确率分别提高了22.06%和16.42%。对比于HSCD和LOMO等对图像分块提取局部特征的方法，本文算法在rank=1的识别准确率分别提高了10.77%和1.93%。在其他排名的识别准确率上，本文算法也均优于其他算法。

表1 VIPeR数据集上各方法的识别率（%）

为进一步验证本文算法的有效性，本文在PRID450S 数 据 集 上与 TMA［15］,GCT［16］,FTCNN+XQDA［17］,LOMO［7］等行人重识别算法进行比较。PRID450S数据集包含两个摄像头下的450个行人的900张图像。在实验中，所有行人图像尺寸设置为128×64，并随机选取一半的行人图像进行训练，在10次实验后求均值得到最终的识别结果。表2为PRID450S数据集上各算法的识别准确率，由表中结果可知，本文算法识别准确率均高于其他算法，且提升效果更加显著。

表2 PRID450S数据集上不同方法的识别率（%）

4 结语

本文提出了一种基于人体部件特征的行人重识别算法，通过分析图像中行人在不同方向上的特征分布情况，在竖直方向上对行人进行部件检测，并提取二阶统计特征，再融合水平方向上的一阶统计特征，得到了较好的行人特征表示。实验结果表明，本文算法所提取的行人特征对光照条件，姿态、视角变化与复杂背景等具有较好的鲁棒性。在以后的研究中，将考虑从不同尺度下提取有效的行人部件特征来提高识别率。