基于改进的DSSIM跟踪算法的行人异常行为检测

李腾芳，陈水利

(1.福州大学数学与计算机科学学院，福建福州350002;2.集美大学理学院，福建厦门361021)

0 引言

跟踪行人技术是检测行人异常行为的基础工作.在有效的跟踪算法基础上，提取相应的行人特征，判断行人是否发生了异常行为.随着视频技术的发展与提高，不少跟踪算法已被提出.然而现有的跟踪算法都有其优缺点，如Mean-shift算法［1］是一种基于核概率密度估计寻找局部极值的稳定方法，该方法针对密度分布连续的情况，处理过程比较简单，本质上只需要对数据的密度直方图应用爬山算法即可，但由于该方法是利用加权直方图对目标进行建模，容易造成跟踪不精确.Camshift算法［2］是在Mean-shift算法基础上改进的，该算法能够自适应调整搜索窗口的尺寸，其不足是当目标颜色和背景颜色相似时，容易跟错或尺寸调整覆盖了大部分的背景.在目标跟踪里，对目标的定位还有基于概率的不确定性跟踪算法，而这类的跟踪算法要求系统同时具有线性、高斯特性，但真实的系统一般是不会同时满足这两个特性.利用卡尔曼滤波［3］可以缓解这两个特性，但无法解决严重的非线性和非高斯性的问题.近年来，粒子滤波被广泛地应用于视觉跟踪中［4-6］，但粒子滤波需要用大量的样本数量才能很好地近似系统的后验概率密度，所以数量越多，算法的复杂性就越高，无法达到实时性的要求.另外，重采样阶段过程会造成样本有效性和多样性的损失，使样本发生贫化现象.鉴于粒子滤波的不足，出现了大量关于改进的粒子滤波跟踪算法［7-9］，这些算法提高了粒子滤波的跟踪效果，但同时也付出了时间代价.

虽然目前有些跟踪算法都有不错的跟踪效果，但一般都比较耗时，且只是研究行人的跟踪行为.由Loza提出的DSSIM的跟踪算法［10］，该算法对光照亮度变化的跟踪具有较强的鲁棒性，而后他又提出了DSSIM方法［11］，运用微分的方法，降低了算法的计算复杂度，使之能适应实时系统的要求.为了能够有效地检测行人游荡、探身、摔倒这些在公共场所发生犯罪时经常发生的异常行为，本文拟提出改进的DSSIM算法，以期增强跟踪的性能，并且使之能够在跟踪行人的过程中快速、有效地检测出游荡、探身、摔倒的异常行为.

1 改进的DSSIM跟踪算法

1.1 结构相似度

本文利用图像的结构相似性SSIM［13］来度量当前帧的候选区域C与目标模板T的相似程度，其定义如下:

其中C1、C2、C3是为了确保分母非0且C3=C2/2的正的小常数，μ、σ和σCT分别表示灰度的平均值、标准偏差和协方差，即

这里，Ii表示候选模板中像素点i的灰度值，Ji表示目标模板中像素点i的灰度值，N为模板中像素点的个数.S具有对称性，即SCT=STC，取值范围在(-1，1］;当且仅当C=T时，S=1.公式 (1)中的三个乘子分别表示了亮度、对比度与结构信息的对比.

在本文中，用核灰度均值的方法来代替传统的灰度均值求法，而计算标准差和协方差用的还是传统的灰度均值公式，核灰度均值公式如下，

其中，2hx、2hy分别为窗口的宽和高，核函数K(x)采用的是Epanechnikov核函数，xi、yi分别表示模板中像素点的坐标，x0、y0分别表示模板中心点的像素坐标.

则改进型的结构相似度S计算公式变为:

1.2 仿射运动目标跟踪

1.2.1 仿射变换推导

首先要使候选模板进行仿射变换，假定模板中的像素点由(xi，yi)经仿射变换到(xi'，yi')，则

将公式 (3)用分块矩阵写成

其中Z为平移量.依据奇异值分解，矩阵A可以分解为A=UDVT，则

在本文中，为了后面计算方便，把公式 (4)中的D改为:D=diag{λ'1，λ'2}.

当候选模板进行仿射变换时，应该把坐标原点移到模板的中心(x0，y0)，即像素点(xi，yi)进行仿射变换到(x'i，y'i)的公式为:

1.2.2 仿射DSSIM跟踪过程

跟踪过程就是找到目标的位置坐标X，使之与目标模板最匹配，即利用优化算法求出使相似函数ρ(x)取得最大值的X.为了计算方便，把ρ(x)定义为ρ(x)=s log(abs(S))，其中s=sign(S)，S是经过T(xi)变换的候选模板和目标模板的SSIM.因此，跟踪问题的求解可归结为求解

本文采用最速下降法求其最优解，计算梯度2ρ(x)，即，沿着最速下降的方向移动到最优位置X，并认定它为目标出现的位置.

首先，对ρ(x)进行求导，可得

这里，

分别为经仿射变换后候选模板的均值、方差和协方差，其中k(T(x))=k(x)，它们的梯度2μKC、和2σCT分别为

其中，Ii、Ji分别表示经仿射变换后的候选模板和目标模板的第i个像素点的灰度值，ki表示目标模板第i个像素点的核值.此时，2Ii=［∂I/∂xi∂I/∂yi］为当前帧图像I在第i个像素点的梯度.2T为Jacobian矩阵，即对参数一阶偏导:

其中:

其次，利用最速下降法即可求得使结构相似度最大时参数的解，即满足公式 (6)的解.

1.2.3 GM(1，1)灰色模型

为了解决行人被遮挡而跟踪效果不佳的情况，引入GM(1，1)模型［12］对行人的位置进行预测，提高了算法的对遮挡问题的鲁棒性.GM(1，1)灰色模型［12］定义为:

通过参数估计，求解公式 (7)便可得到预测模型:

其中，α=a/(1+0.5a)，β=u/(1+0.5a).

本文利用GM(1，1)灰色模型，在可能发生错跟的情况下，用预测值来代替计算出来的窗口位置.

1.2.4 异常判断

判断一个行人是否进行徘徊，根据检测他在场景中出现的时间t有没有超过tloitering，即当t≥tloitering，行人进行了徘徊，则系统应当发出警报.如果行人在场景边缘，并且S小于阈值，则行人走出场景，取消跟踪.

判断一个行人是否有探身、摔倒等旋转的异常行为，根据检测φ有没有超过一定的阈值κφ，即当φ≥κφ，行人可能发生了探身、摔倒等旋转的异常行为，则系统应当发出警报.

1.2.5 基于改进的DSSIM行人异常行为检测算法

本文只考虑平移、尺寸变换和旋转，所以令θ的值总为0，并且不对它进行更新.因此，基于改进的DSSIM行人异常行为检测算法为:

Step 1:通过人机交互方式获得感兴趣的目标区域，初始化k=0，parm0=(1，1，0，0，0，0).

Step 2:获得新的一帧图像，进行如下操作:

①令parm0=parm1=parmk-1;

②判断S(parm1)≥S(parm0)，如果是则令parm0=parm1，转向③，否则转向⑤;

③计算 2ρ(x;parm0)=(2λ'1，2λ'2，2θ，2φ，2p1，2p2);

④根据求导结果2φ、2λ'1、2λ'2与更新阈值比较，用步长更新φ、λ'1、λ'2，并由2p1，2p2计算平移的方向向量→d，利用最速下降法更新p1，p2，把更新结果保存到变量parm1，转向②;

⑤判断S(parm1)＜εs，如果是则转向⑥，否则转向⑧;

⑥判断行人是否在场景边缘，如果是则结束跟踪，否则转向⑦;

⑦parm0=parmk-1，根据GM(1，1)预测位置更新平移量parm0(p1，p2);

⑧令parmk=parm0，t=t+1，k=k+1;

⑨判断t≥tloitering，如果是则发出游荡警报;

⑩判断parmk(φ)≥κφ，如果是则发出探身或者摔倒警报.

Step 3:选择下一帧图像，转向Step 2.

2 实验结果与分析

本文提出的改进的DSSIM跟踪算法通过C++程序实现，编程环境是Visual Studio 2010，并与改进之前的DSSIM进行比较.

2.1 改进的DSSIM与DSSIM跟踪对遮挡鲁棒性对比

实验通过用PETS2009［14］里的片段视频作为测试数据，比较改进的DSSIM与DSSIM［11］算法在目标跟踪时对遮挡的鲁棒性.用改进的DSSIM遇到较大遮挡时，由GM(1，1)预测可很快跟上目标，如图1中，在跟踪行人时，遇到了较大的广告牌，由GM(1，1)能够预测行人可能出现的位置，并稳定跟踪.而DSSIM跟踪遇到遮挡时跟踪失败 (如图2所示).结果显示了本文算法对遮挡有更强的鲁棒性.

图1 改进DSSIM的跟踪结果Fig.1 The results of modified DSSIM

图2 DSSIM的跟踪结果Fig.2 The results of DSSIM

2.2 改进的DSSIM与DSSIM跟踪精度对比

实验通过选用一段场景中只有单个行人的100帧视频作为测试数据，比较改进的DSSIM与DSSIM的跟踪精度.图3描绘了改进的DSSIM与DSSIM算法在100帧中跟踪的精度，跟踪精度定义为行人中心的位置与算法跟踪窗口中心的欧氏距离.实验结果显示了本文算法采用核灰度均值来代替传统的灰度均值求法，减少窗口受背景像素的影响，使跟踪窗口更为精确.

2.3 摔倒、探身等旋转异常行为检测

本实验选取了某外部场景中的视频序列作为测试数据，在测试数据中行人发生左右探身、摔倒的异常行为，人体的上半身类似地发生了旋转变化.图4显示了改进的DSSIM算法可有效地检测出行人因探身而发生的人体倾斜的异常.图5显示了算法可以有效地检测到行人的摔倒异常.

图4 改进的DSSIM对行人探身的检测Fig.4 Modified DSSIM detect the bent pedestrian

2.4 徘徊异常行为检测

本实验采用的视频数据是PETS2006［15］，用tloitering表示跟踪的时间，tloitering为视频播放1000帧的时间，如果t≥tloitering时行人还在场景中，即可判断行人在场景中徘徊.图6显示了改进的DSSIM算法在简单场景下能够稳定跟踪行人，并检测出徘徊的行人，用红框标出.

图5 改进的DSSIM对行人摔倒的检测Fig.5 Modified DSSIM detect the trip pedestrian

图6 改进的DSSIM对行人徘徊的检测Fig.6 Modified DSSIM detect the loitering pedestrian

3 结论

本文提出了改进的DSSIM跟踪算法，算法基于DSSIM，改进了灰度均值的计算公式，结合了GM(1，1)预测模型，对跟踪窗口进行仿射变换，使之能够在跟踪基础上检测游荡、探身、摔倒的行人异常行为.实验结果表明:改进的DSSIM算法比原始的DSSIM算法有更好的跟踪准确度，并且在跟踪过程中遇到较大遮挡时，通过GM(1，1)模型预测行人可能出现的位置，能够有效地跟踪，增强了算法对遮挡的鲁棒性;在稳定跟踪基础上，判断行人在场景中的游荡时间，能够检测出具有游荡异常行为的行人;算法通过仿射变换，判断窗口旋转角度，能够检测出探身、摔倒的行人异常行为.

［1］ COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［C］ //Computer Vision and Pattern Recognition.Hilton Head Island，SC:IEEE Conference on，2000:142-149.

［2］ BRADSKI G R.Computer vision face tracking as a component of a perceptual user interface［J］.IEEE Workshop Application of Computer Vision，1998:214-219.

［3］ BOYKOV Y，HUTTENLOCHER D.Adaptive Bayesian recognition in tracking rigid objects［C］ //Computer Vision and Pattern Recognition.Hilton Head Island，SC:IEEE Conference on，2000:697-704.

［4］ BOUAYNAYA N，QU W，SCHONFELD D.An online motion-based particle filter for head tracking applications［C］ //Acoustics，Speech and Signal Processing.Philadelphia，PA，USA:IEEE Conference on，2005:225-228.

［5］ BRASNETT P，MIHAYLOVA L，BULL D，et al.Sequential Monte Carlo tracking by fusing multiple cues in video sequences［J］.Image and Vision Computing，2007，25(8):1217-1227.

［6］ BRASNETT P，MIHAYLOVA L，CANAGARAJAH N，et al.Particle filtering with multiple cues for object tracking in video sequences［J］.Science and Technology，2005，5685:430-441.

［7］ FU X，JIA Y.An improvement on resampling algorithm of particle filters［J］.Signal Processing，2010，58(10):5414-5420.

［8］ KHAN Z H，GU I Y，BACKHOUSE A G.Robust visual object tracking using multi-mode anisotropic mean shift and particle filters［J］.Circuits and Systems for Video Technology，2011，21(1):74-87.

［9］ SHAOJUN L，ZHENFU Z.Mixtures of t distribution particle filters for visual tracking［J］.Infrared and Laser Engineering，2011，40(7):1387-1396.

［10］ LOZA A，MIHAYLOVA L，BULL D R，et al.Structural similarity-based object tracking in multimodality surveillance videos［J］.Machine Vision and Applications，2009，20(2):71-83.

［11］ LOZA A，FANGLIN W，JIE Y.Video object tracking with differential structural similarity index［C］ //Acoustics，Speech and Processing.Prague:IEEE Conference on，2011:1405-1408.

［12］刘思峰，郭天榜，党耀国.灰色系统理论及其应用［M］.北京:科学出版社，2000.

［13］ WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans on Image Processing，2004，13:600-612.

［14］ JAMES FERRYMAN.PETS 2009 Benchmark Data［C］//Computer Vision and Pattern Recognition，Miami，Florida:IEEE Conference on，2009.

［15］ JAMES FERRYMAN.PETS 2006 Benchmark Data［C］//Computer Vision and Pattern Recognition，New York，USA:IEEE Conference on，2006.