融合位置估计的自适应尺度相关滤波跟踪

王中帅，周聪玲，王永强，高 鹏

(天津科技大学机械工程学院，天津 300222)

目标跟踪在计算机视觉领域中占有核心地位，广泛应用在辅助驾驶、安防监控、无人机导航等领域.近年来，目标跟踪领域发展迅速.其中相关滤波跟踪[1-3]由于其强大的性能而备受广大科研人员关注.目前，在目标跟踪系统中，仍然面临着尺度变化、遮挡、形变和快速运动等诸多挑战.尤其是尺度变化导致跟踪精度降低，甚至由于多尺度原因造成目标在跟踪过程中丢失[4-5].2010 年，Blome 等[6]将相关滤波原理应用到目标跟踪领域，提出了MOSSE 跟踪器，通过傅里叶变换将运算转到频域中，降低了算法的运算量，进一步对算法进行提速优化.2012 年，Henriques 等[7]提出了CSK 跟踪器，通过在目标位置采取一次样本，其他样本均是基础样本循环偏移生成的虚拟样本，这些样本所构成的样本矩阵是循环矩阵，并利用了循环矩阵的性质，但CSK 跟踪器只使用图像中的灰度特征.文献[8]在特征选择上进行改进，使用了颜色特征，提出了CN 跟踪器.文献[9]采用了多通道的HOG 特征，并引入了核方法，提出了KCF 跟踪器.Galoogahi 等[10]提出的BACF 算法通过将目标框以外的背景信息考虑进去，增加整个图像循环偏移矩阵，得到了一个更稳定的滤波器.Mueller等[11]提出了上下文感知相关滤波跟踪(context-aware correlation filter tracking)，该算法联合目标区域前后左右四块背景区域进行联合滤波器训练，既合理地利用了背景信息，提高了跟踪器的鲁棒性，又不太影响跟踪的速度.在此基础上，DCF_CA 跟踪算法[11]、SAMF 跟踪算法[12]、STAPLE 跟踪算法[13]在模型训练中加了背景约束后，性能上都有着显著性的提高.在对尺度变换问题方面，SAMF 跟踪算法在KCF 的基础上将单一特征扩展为多个特征，利用尺度池的方法实现目标自适应跟踪.Danelljan 等[13]提出DSST 跟踪算法，通过使用位置滤波器和尺度滤波器，分别对目标定位和尺度评估.

现实世界中的目标往往出现尺度变换、光照变化、模糊、目标外形变化等，都会影响跟踪的性能.本文提出了针对目标尺度变化问题的解决方法，该方法首先根据先验知识获取不同尺度下的目标信息，然后在滤波器中对不同尺度下的目标模板赋值新的权重.令多尺度下的目标模板虽然是滤波器的正样本，但权重小于原始尺度目标模板，从而有效地跟踪不同尺度下的目标.

1 相关滤波跟踪

1.1 线性回归

假设训练样本集(xi,yi)，并将滤波器训练看成一个岭回归问题，可表示为

其中w 是滤波器.

对式(1)进行优化求解得

其中：X 是样本矩阵，Y 是标签矩阵，I 为便于计算的单位矩阵，λ是正则化系数.

将式(2)转换到复数域情况下的解析解为

其中：XH=(X*)T，H 表示共轭转置，*表示复共轭.

1.2 循环矩阵

样本矩阵是一个循环矩阵，并利用循环矩阵傅里叶对角化的性质，简化算法，提高运算速度.

假设一个向量X=[x1,x2,x3,...,xn]，那么由该向量循环偏移后的n×n 的循环矩阵 C (x)表示为

根据循环矩阵经傅里叶变换可相似对角化，将矩阵X 进行如下转换

利用循环矩阵的特性来化简公式(3)得

1.3 非线性岭回归

为了克服当样本线性不可分的情况，通过映射函数φ(x)，映射到高维空间，相关滤波器用样本的线性组合表示为

利用核方法，使其线性可分.将式(7)代入式(1)中，解得

其中K 是核矩阵，且是循环矩阵.

根据循环矩阵的特性，求解为

1.4 上下文感知相关滤波器

上下文感知相关滤波器(CA-CF)通过增加一些背景信息对训练的滤波器进行约束，提高了跟踪器对目标区域和背景区域的辨别性.

CA-CF 是在传统的相关滤波跟踪框架的基础上，将目标区域的上下左右四块背景信息加到了相关滤波器中去学习，式(1)可改为

其中：Ai(j∈[1,k])是背景样本矩阵，k 是背景样本的个数.

对式(10)优化求解得

2 改进的相关滤波跟踪

在相关滤波算法中，使用基础样本偏移生成样本集，目标尺度变化使滤波器降低对目标的敏感度是导致跟踪失败的主要因素之一.本文通过多尺度监督的自适应尺度模型，将基础样本不同尺度大小的样本循环偏移生成的样本集加到滤波器学习过程中去.设a*b 表示基础样本的尺寸，提取的尺度样本的尺度表示为Sa*Sb.S 为尺度变化因子.为了便于训练滤波器，基础样本和尺度样本对应的标签矩阵也应该设置为相同尺度.为此γ表示为每一帧目标基础样本对应标签矩阵的高斯带宽.多尺度样本对应的高斯标签带宽应为γi=Sγ.在训练中，所有的尺度样本都是正样本.但它毕竟不是目标基础样本，因此多尺度监督中的样本集对应的标签矩阵的峰值应该设置为小于1 的数值.为此，本文提出了一种新的标签矩阵峰值定义标准，以尺度样本和目标基础样本的重叠率来描述尺度样本标签和基础样本标签的峰值比，两者关系表示为

在训练滤波器过程，多尺度样本训练的对滤波器的权重影响应该小于目标基础样本的权重，为此制定了新的标准.假设多尺度样本对应的训练权重符合正态分布，因此多尺度样本对应的权重定义为

其中：δi表示第i 尺度样本训练对应的权重值，di表示尺度样本标签矩阵和目标基础样本标签矩阵峰值之差.

为了训练对尺度变化敏感的滤波器，所有的尺度样本都被转化为和目标基础样本一样大小.将模型优化，可将式(10)改为

其中：

n 表示多尺度模板数量.

与式(10)类似，对式(14)求解得

类似于式(11)求解，将式(16)代入式(17)，式(17)可改为

3 实验与结果分析

为验证本文算法的优异性，在 CVPR 2015 Benchmark[15]数据集上，将本文提出的算法与8 种现有经典算法的成功率和精准率相比较.

3.1 实验环境配置

本文的实验电脑配置为：intel(R)core(TM)i5-7300 MQ CPU@ 2.50 GHz 处理器、8 G 系统内存.其选取的经典跟踪算法为：CSK、MOSSE_CA[6]、DCF_CA[11]、SAMF_CA、DSST[14]、KCF[9]、SAMF_AT[16]、DCF_SC[17].以下将给出本文提出的目标算法一系列的参数，其中：搜索框padding＝2，正则化系数λ1＝10-4，λ2＝8.7，学习率η=0.004 6，尺度变化因子S＝[0.98，0.985，0.99，0.995，1.0，1.005，1.01，1.015，1.02].

3.2 实验结果

本文提出的算法与8 种现有经典目标跟踪算法在测试集上的仿真实验结果为：图1 横轴为中心位置误差，是指算法计算出目标中心位置与真实目标中心位置之间的欧式距离；图1 纵轴为精准率，精准率是指算法跟踪目标的中心位置误差在阈值距离内的帧数与总帧数的比值.中心位置误差公式为

式中：xi、yi是算法计算出的中心位置坐标；X、Y是真实目标中心位置坐标.

图2 横轴为重叠度，是指算法计算出目标与真实目标之间的重叠度；图2 纵轴为成功率，成功率是指重叠率大于阈值的帧数与总帧数的比值.成功率公式为

式中：Hx是重叠率大于阈值的帧数；N 是总帧数.

精准率和成功率可以作为评价跟踪算法性能的标准.

图1 不同算法的精准率比较结果Fig.1 Comparison of precision rate of different algorithms

图2 不同算法成功率对比结果Fig.2 Comparison of success rate of different algorithms

由图1、2 看出，本文提出的算法精准率和成功率优于其他8 种经典算法，得分分别为0.803 和0.705.在精准率上比基准算法KCF(得分为0.696)高出了0.107.在成功率上比基准算法KCF(得分为0.551)高出了0.154.

相对于 CSK、MOSSE_CA、DCF_CA、KCF、DCF_SC 跟踪算法，本文方法增加了尺度样本对滤波器的训练，所以算法总体得出的精准率和成功率均优于这些方法.在尺度自适应方面，DSST 跟踪算法有33 个尺度，但使用两个独立滤波器导致分布最优，并不能保证位置最优.SAMF 跟踪算法对目标进行7个尺度计算，得到一个尺度金字塔，找出响应值最大的尺度即为目标.这两种方法都是通过增加尺度样本来适应多尺度变化，表1 和表2 分别为本文算法与8 种经典算法在尺度变化(SV)、低分辨率(LR)、遮挡(OCC)、超出视野(OV)、平面旋转(OR)干扰下精准率和成功率的对比实验结果.通过表1 和表2 可以看出，尺度变化干扰时SAMF 和DSST 算法效果优于其他不加尺度样本的跟踪算法.本文方法在增加尺度样本作为训练集时，考虑到多尺度是由目标生成的样本，在进行样本训练时考虑尺度样本对效果影响肯定不如目标样本，即每个尺度样本对结果的影响肯定不一样，所以对每个尺度样本与目标样本计算服从正分布交并比值作为新的权重后，再对样本进行训练，提高了滤波器对多尺度变化的敏感度.由表1、表2 可见，本文提出的算法充分体现了优异性能，达到了设计算法的预期效果.图3 所示，本文提出的算法在目标尺度变化的情况下，可以较为准确地预测目标的尺度大小并能很好的跟踪目标.这表明本文提出算法在目标尺度变化的情况下的可行性.

表1 不同干扰下不同算法精准率对比实验结果Tab.1 Comparison of precision rate of different algorithms with different interference

表2 不同干扰下不同算法成功率对比实验结果Tab.2 Comparison of success rate of different algorithms with different interference

图3 尺度变化下的对比实验Fig.3 Contrast experiments with scale variations

4 结论

本文提出了一种改进的自适应尺度相关滤波跟踪算法.该算法将位置估计和尺度估计融合为一，将预先的尺度模板样本作为训练样本，一起训练滤波器.给不同尺度的模板在滤波器训练中赋予新的权重定义，同时也赋予了尺度模板对应的标签矩阵新的定义，提高了跟踪器对目标尺度变化的敏感度.最后将本文提出的算法与当前经典8 种跟踪算法在测试集进行仿真实验对比.实验结果表明，本文算法精准率为0.803、成功率为0.705，高于对比算法，达到了预期效果.