复杂背景下人体步态分析方法∗

陈 松 张国辉 王西泉 陈俊彪 马 超

（1.中国兵器工业试验测试研究院 华阴 714200）（2.西安工业大学 西安 710021）

1 引言

目前常用且成熟的生物识别技术有指纹识别、虹膜识别、人脸识别、DNA 识别，新兴的生物识别技术有静脉识别、步态识别［1］。利用步态进行身份识别是近年来在生物识别领域的一大研究热点。随着现代智能社会发展，各种展览、机场、车站等大范围人流量多的地方的视频安全监控正在引起人们注意［2］，国此远距离、复杂背景下的步态识别方法为在这种情况下的身份认定提供了很好的手段。

过去的几十年里，步态识别领域开展了大量研究工作，已经取得了不少进展［3～6］。国外对于步态分析的研究较早，2000年美国DARPA（美国国防部高级研究计划署）开始主持开展HID 计划（远距离身份识别），旨在于研究基于视频监控的人脸识别与步态识别的远距离身份识别［7］。2014 年Tafazzoli F等通过分析研究丢弃无用冗余信息对分类器识别效率的影响。提出一种只提取特征向量的一个子集而不会降低分类精度的遗传算法（GA）来进行步态提取［8］。2017 年Munif Alotaibi 等提出一种深度卷积神经网络（CNN）架构用于步态识别，其优点是可以明显降低影响步态识别性能的一些因素［9］。2019 年Uddin M Z 等针对步态识别中的遮挡问题提出了基于条件深度生成对抗网络（GAN）的遮挡序列（sVideo）的轮廓序列重构，其从重构的序列中估计步态周期并可从一个步态周期图像序列中提取步态特征［10］。国内研究较晚，但也取得一定的成果，2013 年刘志勇等用局部二值模式（LBP）来提取步态能量图（GEI）的局部特征并用于识别［11］。2019 年池凌云提出一种基于深度学习的方法来进行多视角下的步态识别［12］。段鹏松等［13］针对现有无线感知步态识别研究中存在的不足，提出了将频率能量图引入卷积神经网络模型，实现了高准确率的多人场景单目标步态识别。目前中科院下孵化的一家公司已经将步态识别运用到了商业领域。步态识别主体分三个阶段：目标区域获取，步态特征提取，步态识别。本文针对具有复杂背景的步态图，运用超像素显著图得到目标区域并用Gabor 特征与动态区域结合的方法完成步态特征的提取，达到在复杂背景下分析人体步态特征的目的。

2 步态视频的获取

在实际情景中，人不会一直处于行走状态，为了获得有用的人体步态信息，我们选择视频中人体完全出现且连续行走，并且视频分帧期间上一步态与下一步态有明显差异的最小帧数作为人体步态关键帧提取标准，之后进行关键帧保存。这样，既避免了冗余信息的存在，又保存了有用的人体步态信息，大大提高处理效率。本文对于关键帧的提取过程为先读取视频所有帧，选择恰当的帧数间隔提取。对于本次实验拍摄视频中，5s 左右的视频，总共获得170 帧左右的图片，行人完全出现在镜头当中并选取5 帧为间隔保存相应帧作为关键帧。原始图像大小为1080×1920。

图1 本文提取的部分关键帧

3 基于超像素的目标区域提取算法

3.1 基于超像素法的目标区域分割

SLIC 超像素算法将目标图像分割成由一系列位置相邻且具有相似特征（如颜色）的像素点组成的小区域。具体分割流程如下。

1）选取聚类中心。假设一幅图像有N 个像素点，选取其中某个像素点为聚类中心将其分为K 个的同样面积超像素，超像素大小为N×K，相邻聚类中心距离为

2）在聚类中心3×3 范围内计算范围内所有像素的梯度值，将聚类中心重新放在梯度值最小的位置。

3）确定N 个像素点在选取2×2 范围内与聚类中心的距离，距离最近的划分为一类。距离计算包括颜色距离和空间距离。计算方法如下：

公式中Dc表示颜色距离，Ds表示空间距离，Nc与Ns表示类内最大空间距离。

4）重复上述步骤直到聚类中心不再发生变化。

5）对于划分不均匀的超像素单元，需要建立标记表，按表不重复的顺序重新进行标签分配，遍历完后即可停止，其目的旨在增强超像素连通性，优化结果。如图2所示为超像素分割结果图。

图2 超像素分割图

3.2 基于显著图法的人体区域的获取

在计算机视觉中，显著性是一种图像分割的模式，而显著图是显示每个像素独特性的图像。显著图旨在于突出一幅图像中最重要的目标。本文验证了四种显著图法（ITTI 方法、SR 方法、FA 方法及FT方法）生成的前景图像如图3所示。

图3 四种方法处理结果

得到显著区域后，对其显著区域需进行二值化，灰度变换与形态学处理保留最大轮廓提取前景。如图4 为结合灰度调整与自适应阈值的二值化分割结果。

图4 结合灰度变换与自适应阈值的二值化结果

图5 部分处理结果示例

图6 归一化图像

图7 步态能量图

二值化图像后图像中出现很多前景，包括目标区域与部分非目标区域。这些每一块区域面积不同，我们计算出不同区域的面积，最后保留最大（只有我们想要的目标前景符合条件）连通域即可。

4 步态特征的提取与识别

4.1 步态轮廓图归一化

由于从视频中提取的关键帧，人体目标区域不定，而且图像较大，考虑到后续特征提取计算量，需对其进行尺寸与中心归一化。具体操作过程为设置好归一化后的图像大小，之后建立坐标系，获取坐标系中关键帧的高度与宽度，由于高度一般比宽度大，选取高度进行比例缩放，最后获取人体对称轴，将图像居中放置。

本实验图像帧原来大小为1080×1920，归一化后大小为240×120。

4.2 步态能量图生成

基于非模型提取步态特征方法中我们有提到基于统计学提取特征，其主要思想是提取无法建模的特征进行数学计算得到概率统计规律来获取步态特征。步态能量图就属于其中一种。步态能量图为一个步态周期内人体轮廓图的加权平均图。计算公式如下：

其中N 为总帧数，I（x，y）代表每一帧图像，EGEI（x，y）代表一个步态周期内的所有图像加权平均得到的步态能量图。

4.3 步态特征的提取

Gabor小波与人类视觉系统中简单细胞的视觉刺激响应非常相似。其能够提供良较好的尺度选择和方向选择特性，对于光照变化，遮挡等情况表现出较强的鲁棒性与良好的适应性。二维Gabor函数能够增强边缘以及峰、谷等底层图像特征，在保留了整体的同时也增强了部分局部特性。

将步态能量图经正弦平面波和高斯核函数构成的滤波器滤波，之后便能得到步态特征。正弦平面波和高斯核函数的积是二维Gabor 小波变换的滤波器。Gabor小波变换不仅仅可以提取出图像纹理的特征，并且可以减小光照和位置对图像识别造成的干扰。函数表达式如下：

式中，对于Gabor 核函数，u 为方向，v 为尺度，z=（x，y）即图像坐标，||*||表示对*进行取模运算。

本文中一幅图像大小为240×120，共有40个滤波器，总共维数为240×120×40/8×8=18000 维。测试识别我们选择CASIA B 数据库前10 人在正常情况下行走，角度为90°生成的步态能量图各6 幅，总共就是60×18000维，需要对其进行降维处理。

4.4 步态识别

假定给定数据样本X 中包含了n 个对象X=｛X1，X2，X3，…Xn｝，其中每个对象都具有m 个维度的属性。算法的目标是将n 个对象依据对象间的相似性聚集到指定的k 个类簇中，每个对象属于且仅属于一个其到类簇中心距离最小的类簇中。

首先需要初始化k 个聚类中心｛C1，C2，C3，…，Ck｝，1

其中，Xi表示第i 个对象1 ≤i≤n，Cj表示第j 个聚类中心的1 ≤i≤k，Xit表示第i 个对象的第t 个属性，1 ≤i≤m，Cjt示第j个聚类中心的第t个属性。

表1 为使用不同主成分百分比对其降维后数据的聚类结果，选取一种无监督分类-K 均值聚类法对特征数据进行分类识别，对比多次实验结果，其识别率稳定在86%，表明K 均值聚类能较好的进行步态识别。

表1 不同主成分百分比下聚类识别结果

5 结语

相比于目前已有的步态识别方法，本文对两个方面进行了改进：第一个是使用了显著性检测进行前景提取，实验表明FT法在这方面是效果最好的，不过也可看到对于脸部这部分提取有不足，可以做出改进。第二个是使用了聚类的方法对已知类别的样本进行分类识别，表明其在已知类别数下能够进行有效分类。因为现实状况的复杂性，单一使用步态仍不能够真正做到很高的识别率，后续需要考虑现有成熟的识别技术如何与步态结合，实现优势互补。