基于SPN-PF模型的行人跟踪算法改进

张婧,田宏

(大连交通大学 软件学院，辽宁 大连 116028)

基于SPN-PF模型的行人跟踪算法改进

张婧,田宏

(大连交通大学 软件学院，辽宁 大连 116028)

结合粒子滤波和神经网络方法提出了一种新的自适应的行人跟踪改进算法.根据行人跟踪经常出现的遮挡，失跟，误跟等问题，提出了一个SPN-PF模型，通过Sigma-Pi网络将行人的多个特征联系在一起，经过学习和计算，进一步讲结果运用到粒子滤波方法中,从而达到可靠准确的跟踪行人目标的目的.实验结果表示该文提出的方法能够更准确的对行人进行跟踪.

行人跟踪;粒子滤波;神经网络;级联分类器

0 引言

在复杂背景下跟踪特定行人目标的研究和应用是计算机视觉领域的重要分支.我国自1986年开始立项研究视频跟踪技术，至今已取得一定的成果.通过动态图像序列进行行人跟踪是非线性的状态估计问题，主要思想是通过非线系统的输入和对目标的手动选定对行人的位置信息做出预测.粒子滤波技术对这类非线性非高斯问题的处理具有明显的优势，它用随机样本形式描述目标状态的后验概率分布.因为粒子滤波直接用系统非线性模型做非线性变换，更加接近系统本质，因此作为近几年来的新技术已经广泛应用于众多领域中[1- 2].

总结近年来提出的众多粒子滤波目标跟踪算法，粒子滤波的研究还有很多不足之处[1- 2]，如目标在复杂背景下容易受到干扰，出现遮挡、失跟、误跟，计算量大，实时性差等问题.另外在以往的粒子滤波研究中，单个特征在描述目标时具有局限性，研究表明将多个描述目标性能较好的特征组合在一起，结合各自的优缺点，取长补短，可以弥补单个特征的不足，并且提高准确率.本文以视频中跟踪行人为目标，重点研究复杂背景下的单个行人目标视频跟踪问题.根据现有粒子滤波方法的不足之处，针对上述问题，提出一种新的自适应的算法模型，结合行人目标的特征，可以更加准确的对行人定位，较以往采用单个特征的算法在可靠性和准确性方面有一定的提高，减小了光线变化和遮挡所造成的影响.

1 算法简介

1.1 特征选取和处理

从行人的动态序列图像中可以提取出许多特征作为行人的目标的描述，可以有效区分目标与非目标，因此如何选取有效的目标特征，对目标的检测和跟踪结果至关重要.

颜色 行人的肤色和所穿衣服都有明显的颜色特征，并且行人目标的颜色比较稳定，不会快速改变，因此在跟踪时非常可靠[3- 4].在进行计算机处理时把视频转换为HSV颜色空间下进行可以减少计算量.直方图投影算法是一种常用的算法[3]，通过生成的显著值图像可以得到输入图像像素点是否属于样本直方图的概率.每个像素值的概率越大，则这个图像块越匹配样本直方图.

运动 采用背景相减法可以确定行人的位置并预测下一时刻的信息[3- 4].主要是根据当前帧与参考图像的差异进行比较和判断，在差分图像中，灰度不发生变化的背景部分被减掉，两帧相减后就使运动目标突现出来.因为视频背景比较固定，所以只要行人目标大于阈值就可以被检测出.但是如果行人运动速度过慢，低于阈值或者完全静止，背景相减法就会失效.此时系统就只能依靠其余的特征继续跟踪.

形状 人体是非刚性物体，人体的姿势变化多端，无法用一个固定的形状表示.因此基于人体整体的研究方法可靠性很低.人体的所有部位中，头肩部位形变较小，位置较固定，稳定性最高，抗干扰性最好，见图1.通过实验表明采用部件的检测结果效果高于采用整体的[5- 6].因此本文采用人体头肩的类Haar特征[7](图2)和级联的Adaboost算法[8]进行行人目标检测分类器的训练.主要思路为准备大量的正负样本，其中正样本是待检测目标图像，负样本为不包含目标的其他任何图像，对正样本进行尺寸规整后，建立正样本集，提取描述特征；然后开始利用统计学原理训练分类器.分类器训练好之后，就可以实时的利用分类器进行目标检测，见图3.

图1 人体头肩部位

图2 扩展的类Haar特征

1.2 SPN-PF模型

运动特征可以有效的对行人目标定位，但是当行人静止时无法提供信息.颜色和形状是可靠的跟踪特征，但是需要预先学习.将不同的特征结合起来，可以提高跟踪行人的可靠性.

本文结合了现有的粒子滤波技术和神经网络，提出了一个SPN-PF模型，见图4.

Sigma-Pi网络是一种常见的高阶神经网络模型[9- 11].该网络通过隐层对输入进行计算.对每一个输入都设有不同的权重.这些值作为一个多项式函数的输入，在隐层通过乘法运算，进一步把结果传给输出层，然后进行求和运算，得到最终结果.

SPN-PF模型把行人的三个重要特征作为Sigma-Pi网络的输入，通过计算将结果作为粒子滤波的权值，从而使粒子滤波结果更加准确和可靠.

图4 SPN-PF算法框架图

在算法模型中，每一个粒子的权值都是通过Sigma-Pi网络计算得出的[10]，计算公式如下：

(1)

粒子滤波方法主要思想是选取一个重要性概率密度并从中进行随机抽样，通过这些带有权值的粒子逼近状态的后验概率分布，以样本均值代替积分运算从而获得状态的最小方差估计，作为状态估计值的一个过程[1].

根据贝叶斯理论，估计值可根据如下预测方程估计

(2)

式中:xt为t时刻的系统状态；yt为t时刻的观测状态;p(yt|xt)是系统观测模型；p(xt|xt-1)是根据时刻0～t观测值以后t时刻的概率值.行人目标的概率分布可估计为

(3)

2 实验结果

本文对三个自我采集的视频(不同背景，相同目标)进行了相应的跟踪实验，背景中有很多其他行人干扰，待跟踪行人目标颜色与背景中的树木相近.粒子个数为10个，在图像序列初始帧时手动选定待跟踪的行人目标.跟踪效果很理想.实验效果如图5所示.

图5 视频跟踪效果实验图

本文用Matlab分别做了单个特征的粒子滤波和采用本文提出的SPN-PF模型算法的仿真实验进行比对，一共选取了50个时间点，50个粒子.图6(a)是单个特征实验的状态图，仅选取了行人的颜色特征，点代表实际的位置信息，出现概率是随机的，曲线是系统预测的位置.可见在前期情况跟踪效果很好，准确率较高，但是实验后期失跟情况很严重，可能是出现干扰或者遮挡等情况，因此所采用的单个特征失效.与单个特征粒子滤波方法比较，本文提出的新SPN-PF模型的实验结果由图6(b)所示，根据实验结果分析，采用单个特征的粒子滤波会出现失跟现象，而采用SPN-PF模型的算法除了在初期初始化阶段，效果一般外，基本上不会出现失跟现象.当所参考的其中一个特征失效时，系统会通过Sigma-Pi网络计算自动选取其他特征，避免了精度下降.另外准确率也有提高.

实验结果证明了本文提出的新的模型识别率优于单一特征的粒子滤波方法.

(a)提取单个特征

(b)SPN-PF模型

3 结论

本文提出的SPN-PF模型根据多个特征的有效结合，可以显著提高跟踪效果.以前的很多多特征融合算法未采用Sigma-Pi网络，因此即使选取了多个特征，但是系统不能自适应判断哪个特征可靠性更大，而Sigma-Pi网络可以根据多个输入和权值，自适应计算出最优的结果，举例来说，当行人静止不动时，运动特征失效，相应的权值为0，系统会只考虑其他特征.但是，在算法初期，系统初始化阶段，由于计算量较大，初始帧阶段训练的目标样本数量太少，权值的可靠性较低，不过它是一个自适应递增的过程，随着时间的推移，精准度会越来越高，结果会越来越好.本文针对以往跟踪研究系统只采用单个特征或不能自适应多个特征这一缺点，提出了一种结合了神经网络，粒子滤波的新模型.实验结果表明，提取多个特征并通过人工神经网络技术进行计算提高了粒子滤波权值的可靠性，避免了采取单个特征所带来的缺陷，提高了行人跟踪的准确性.但是由于计算量较大，并且需要前期进行离线训练，在实时性等方面效果并不是特别突出，希望在将来的研究过程中可以进一步完善.

[1]DJURIC P M,KOTECHA J H,ZHANG J,et al.Particle filtering[J].Signal Processing Magazine,IEEE,2003,20(5):19- 38.

[2]查宇飞,毕笃彦.一种基于粒子滤波的自适应运动目标跟踪方法[J].电子与信息学报,2007,29(1):92- 95.

[3]章毓晋.图像工程[M].北京：清华大学出版社,2005.

[4]YILMAZ A,JAVED O,SHAH M.Object tracking: A survey[J].Acm Computing Surveys(CSUR),2006,38(4):13.

[5]DALAL N,TRIGGS B.Histograms of oriented gradients for human detection[C].CVPR 2005：IEEE Computer Society Conference on.IEEE,2005:886- 893.

[6]LIN Z,DAVIS L S,DOERMANN D,et al.Hierarchical part-template matching for human detection and segmentation[C].IEEE 11th International Conference on.IEEE,2007:1- 8.

[7]LIENHART R,MAYDT J.An extended set of haar-like features for rapid object detection[C].Proceedings 2002 International Conference on.IEEE,2002:900- 903.

[8]MIKOLAJCZYK K,SCHMID C,ZISSERMAN A.Human detection based on a probabilistic assembly of robust part detectors[M].Berlin Heidelberg：[s.n.],2004:69- 82.

[9]GILES C L,MAXWELL T.Learning,invariance,and generalization in high-order neural networks[J].Applied optics,1987,26(23):4972- 4978.

[10]ZHANG B T,MUHLENBEIN H.Synthesis of sigma-pi neural networks by the breeder genetic programming[C].Proceedings of the First IEEE Conference on.IEEE,1994:318- 323.

[11]VILLALOBOS L,MERAT F L.Learning capability assessment and feature space optimization for higher-order neural networks[J].Neural Networks,IEEE Transactions on,1995,6(1):267- 272.

[12]ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1998,20(11):1254- 1259.

Improved Pedestrian Tracking Algorithm based on SPN-PF Model

ZHANG Jing,TIAN Hong

(Software Institute,Dalian Jiaotong University,Dalian 116028,China)

A self-adapting algorithm is presented for pedestrian tracking,combining particle filter with neural network,and a SPN-PF model is proposed according to the problems such as covering,missing,wrong tracking and so on.The model integrates different features by means of a Sigma-Pi network.After the study and calculation,the result will be used in particle filter method to achieve the goals of reliable and accurate pedestrian tracking.Experimental results show that the purpose can be achieved.

pedestrian tracking;particle filter;neural network;cascade classifier

1673- 9590(2015)01- 0101- 04

2013- 11- 12

国家自然科学基金资助项目(61074029)

张婧(1987-)，女，硕士研究生；田宏(1968-)，女，教授，博士，主要研究数据挖掘，人工智能方面的研究

E-mail:olina1212@163.com.

A