通道稳定性加权补充学习的实时视觉跟踪算法

樊佳庆，宋慧慧，张开华*

(1.江苏省大数据分析技术重点实验室(南京信息工程大学)，南京210044;2.南京信息工程大学大气环境与装备技术协同创新中心，南京210044)

(*通信作者电子邮箱zhkhua@gmail.com)

0 引言

视觉跟踪是计算机视觉领域一个重要的基础问题。本文只考虑单目标跟踪，即第1帧中的跟踪目标单一且在接下来的帧中跟踪该目标。尽管人们对跟踪已研究多年，但是由于不同的干扰因素，如遮挡、光照、快速移动、运动模糊姿势变化等都会对跟踪产生较大影响，所以它仍是一个非常具有挑战性的计算机视觉任务。

近年来，相关滤波类［1－2］跟踪方法因其能利用快速傅里叶变换进行相关滤波运算，从而大大提高跟踪速度和精度，故引起了广泛关注。在相关滤波的基础上涌现出了大量简单、有效的实时跟踪算法［3－9］。

Bolme等［1］首先把相关滤波引入视觉目标跟踪领域，提出了速度极快的最小误差输出平方和(Minimum Output Sum of Squared Error，MOSSE)跟踪算法。接着，Henriques等［2］提出循环结构核检测跟踪(Circulant Structure of tracking-bydetection with Kernels，CSK)算法，它通过对单幅图像的密集采样获得循环样本，最终实现较好的跟踪结果。为了进一步提升CSK的性能，Henriques等［4］接着提出了核化相关滤波(Kernelized Correlation Filter，KCF)算法，利用简单的方向梯度直方图(Histogram of Oriented Gradients，HOG)特征取得了不错的跟踪效果并且达到了远超实时的跟踪速度。

在此基础上，Bertinetto等［6］提出了实时补充学习(Sum of template and pixel-wise learners，Staple)跟踪，利用颜色直方图作为全局特征，再结合局部方向梯度直方图特征HOG构造相关滤波跟踪器，取得了较好的实时跟踪效果。但是，Staple方法并没有考虑每层响应的稳定性，即每层响应的权重是一致的，这样就使得噪声很大的响应给跟踪结果带来较大的负面影响。比如，在周围有类似物体干扰的情况下，目标就很容易跟丢。

针对上述问题，本文在实时补充学习(Staple)跟踪的基础上加入了响应稳定性权重，提出了通道稳定性加权的Staple(Channel Stability-weighted Staple，CSStaple)跟踪算法。如图1所示，本文首先使用标准相关滤波获得每层通道响应，然后，利用每个通道响应的峰值计算出稳定性权重，接着，把这些权重乘上对应的通道响应，最终和颜色直方图响应相结合得出跟踪结果。

图1 CSStaple算法原理图Fig.1 Schematic diagram of CSStaple algorithm

1 通道稳定性加权的跟踪算法

本文所提跟踪算法由加入通道稳定性权重的相关滤波算法模块和颜色直方图补充学习模块组成，最后将两者的响应结果加权线性组合，得出最终的跟踪结果。

1.1 通道稳定性权重估计

本文首先通过传统相关滤波算法得出多通道跟踪结果rchannel，尺寸是m×n×c(其中:m是响应的高度，n是响应的宽度，c是响应的层数)，然后通过峰值检测算法检测出每一层的前若干个峰值向量:

其中i∈{1，2，…，c}是该层的序号。接着通过式(2)求出该层的权重:

当该层响应噪声较大时，因为高噪声的响应具有较低的判别能力，所以应该得到较低权重，这样也就削弱了该层响应在最终响应中的影响力。相反地，当该层响应的波动较小时，本文认为这是一个比较理想的响应层，所以赋予较大权重，该层响应在最终响应中的影响也较大。

1.2 相关滤波分类器

本文利用标准的相关滤波框架，训练出一个岭回归分类器。目标是找到一个函数f(z)=wTz，使得在循环样本{xi}上的检测结果和回归目标{yi}之间的最小平方误差最小，即:

进一步地，利用核技巧［10］，本文直接得出式(3)的闭式解:

式中:kxx是x和它自己的核相关;“^”表示离散傅里叶变换;而F－1表示离散傅里叶逆变换。

本文采用一种在线更新的策略来更新学到的参数αt，通过:

式中:ηcf是相关滤波分类器的学习率;珘αt利用当前t帧的跟踪结果通过式(4)计算得到。最终，当输入新一帧即t+1帧图片zt+1时，它每层的检测响应结果即:

每层响应与式(2)中每层的稳定性权重wi相乘并相加之后，便可得到层通道稳定性加权后的相关滤波响应:

1.3 颜色直方图分类器

为了找到一个较好的颜色分类器，本文使用一种特殊形式的特征表示，对于每个RGB像素u∈R3，其特征表示为:

其中bins是直方图柱的数量。之后，本文在目标区域ΩoR2和背景区域ΩbR2上使用一个线性回归目标函数:

式中β是系数向量。

再把特征表示式(7)代入目标函数，得到:

式中 Ni(Ωa) = {u ∈ Ωa|k［u］ = i}，a ∈ {o，b}。令，得到目标函数的闭式解:

为了自适应目标的表观变化，类似相关滤波分类器，本文使用一种简单的在线更新策略来更新分类器系数:

在检测阶段，t+1帧时，输入图片之后，就能得到它在像素点u处的颜色直方图响应，即:

1.4 融合相关滤波响应和颜色响应

得到稳定性加权的相关滤波响应rcf和颜色直方图响应rch之后，本文采用一种线性加权的结合方式得到最终的响应:

其中:η是融合因子;r中的最大值的位置就是跟踪结果。

2 实验与分析

在这部分中，首先介绍了实现的细节，然后详细分析了本文设计的跟踪器CSStaple与当前先进的跟踪器在OTB50［11］、OTB100［12］测试集上的性能对比实验结果。

2.1 实验设置

在相关滤波部分，本文使用简单的HOG特征并设置它的单元尺寸为4×4，设置学习率ηcf=0.01。在颜色直方图方面，直接使用RGB特征，颜色直方图柱子数量设定为32，颜色分类器的学习率为0.04。另外，设置固定区域大小为150×150，融合因子 η =0.5。

2.2 OTB50 上的评估

在OTB50的50个视频上，首先将本文的跟踪器CCStaple与5个先进的跟踪器进行一次通过型(One Pass Evaluation，OPE)成功率对比实验，并对实验结果进行分析。之后，又分析了基于属性的成功率性能对比结果。

2.2.1 与先进跟踪器对比

在OTB50上，本文选取了5个先进的跟踪器进行对比实验，包括:层和空间可靠性判别相关滤波(Channel and Spatial Reliability Discriminative Correlation Filter，CSR-DCF)跟踪［13］、对冲深度跟踪(Hedged Deep Tracking，HDT)［14］、核化相关滤波(KCF)跟踪［4］、对偶线性结构化 SVM跟踪(Dual Linear Structured SVM Tracker，DLSSVM)［15］、补充学习(Staple) 跟踪［1］。总的对比实验结果如图2所示，使用的是成功率这一指标。其中本文提出的CSStaple跟踪算法最优，分别超过基准算法Staple、核化相关滤波(KCF)跟踪算法2.5个百分点和10.4个百分点。

2.2.2 基于属性分析的对比

本文在OTB50上进行了属性分析的对比实验。所有的视频被分为11种不同的属性，即:光照变化、尺度变化、遮挡、形变、运动模糊、平面内旋转、快速移动、平面外旋转、脱离视线、背景混乱以及低像素。平面内旋转、遮挡这两种属性下的成功率如图3所示。在平面内旋转属性下，HDT取得了58.0%的曲线下面积(Area Under Curve，AUC)得分，本文的跟踪器比它高出1.8个百分点。本文的跟踪器在遮挡属性中也取得了最佳的表现，在图像背景混乱或部分遮挡等强干扰下，原基准跟踪器Staple表现不好，跟踪成功率较低。而本文的CSStaple加入了通道稳定性权重之后，自动减小响应十分混乱的通道的权重，而赋予响应振荡较小的通道以较大权重，使得最终加权之后的响应变得更为可靠，所以本文的跟踪器能在这两种属性下表现相对更优。

图2 OTB50上不同跟踪器对比Fig.2 Comparison of different trackers on OTB50

图3 OTB50上平面内旋转、遮挡两种属性下成功率Fig.3 Success rate under two attributes of in-plane rotation and occlusion on OTB50

2.3 OTB100 上的评估

在OTB100上本文选取了5个先进的跟踪器进行了成功率对比实验，包括:层和空间可靠性判别相关滤波(CSRDCF)跟踪［13］、长期相关跟踪(Long-term Correlation Tracking，LCT)［5］、对冲深度跟踪(HDT)［14］、核化相关滤波(KCF) 跟踪［4］、补充学习(Staple)跟踪［6］。各跟踪器在 OTB100 上的成功率如图4所示。

由图4可以看出，CSStaple在这100个视频上表现得最好，甚至超过了很多最新的跟踪算法比如Staple和CSR-DCF;在实时跟踪算法中，Staple的 AUC得分为57.9%，LCT的AUC得分为56.2%，本文跟踪方法的AUC得分为58.8%，相比Staple和LCT分别提高了0.9个百分点和2.2个百分点。

图4 OTB100上不同跟踪器对比Fig.4 Comparison of different trackers on OTB100

3 结语

本文在补充学习(Staple)跟踪器的基础上加入了通道稳定性权重估计，提出了通道稳定性加权的补充学习(CSStaple)跟踪器。改进后的跟踪器能较好地解决背景干扰、场景混乱等问题，因而在跟踪标准测试集 OTB50和OTB100上取得了较高的结果，甚至优于一些基于深度学习的跟踪器。但是，本文方法对于强烈光照变化、低分辨率像素等其他常见问题处理得不太理想，后续将针对强烈光照变化、低分辨率像素等问题再进行进一步的研究。