一种结合ORB特征匹配的均值漂移目标跟踪算法

戴文君，常天庆，苏奎峰，王全东，黄捷音

(1.装甲兵工程学院 控制工程系，北京 100072; 2.北京军代局驻四四七厂军事代表室，北京 104030)

一种结合ORB特征匹配的均值漂移目标跟踪算法

戴文君1，常天庆1，苏奎峰1，王全东1，黄捷音2

(1.装甲兵工程学院 控制工程系，北京 100072; 2.北京军代局驻四四七厂军事代表室，北京 104030)

针对传统的mean-shift跟踪算法基于单一颜色特征空间，在复杂背景下难以对目标进行准确跟踪这问题，提出了一种结合ORB特征匹配的mean-shift目标跟踪算法;该算法在mean-shift算法的基础上利用改进的ORB特征匹配算法修正目标跟踪窗口并实时更新目标特征模板，通过计算前后两帧图像中目标中心的欧式距离与色彩模板的巴氏距离来判定跟踪是否失败，当目标跟踪失败时，不改变目标模板，继续搜索下一帧图像中的目标;实验结果表明，与均值漂移算法和基于其他同类特征的改进算法相比，该算法提高了在复杂背景下目标跟踪的精度，并能满足实时性要求。

ORB特征；色彩模型；目标跟踪

0 引言

目标跟踪作为计算机视觉研究的一个重要内容，其目的是通过对序列图像的处理，从而获取目标在序列图像中的位置、轨迹等信息[1]。针对目标的属性以及所处环境差异，研究人员提出了诸多目标跟踪算法，常见的跟踪算法有：光流法[2]、粒子滤波[3]、均值漂移[4]等方法。光流法适用范围广，但计算量较大，实时性较差；粒子滤波将复杂的跟踪问题转化为状态估计问题，但存在一定的退化现象等问题；均值漂移算法是一种非参数核密度估计算法，通过构建代价函数，利用Mean Shift迭代快速求解代价函数的极大值确定目标的位置，计算速度快，且对目标形状、姿态、旋转有一定的鲁棒性，因此得到了广泛了关注。然而，传统的均值漂移算法只考虑了目标的颜色分布信息，忽视了目标像素在空间位置的分布信息，也没有考虑目标纹理、形状等特征，使得算法在复杂环境下难以准确跟踪目标。

针对这一问题，文献[5]提出了一种融合颜色特征和局部特征SIFT特征的跟踪算法，通过融合mean-shift和SIFT的跟踪结果，提高了复杂背景下目标跟踪的准确性。文献[6]根据目标的面积和型心坐标对Mean Shift跟踪结果进行修正，解决了跟踪目标尺度变化的问题。文献[7]将纹理特征与颜色特征相结合对均值漂移算法改进，增加了mean-shift跟踪算法的可靠性。这些改进算法在一定程度上提高了mean-shift算法的跟踪能力，但还存在跟踪精度不高、实时性不强等问题。由Ethan Rublee等人提出ORB(Oriented Brief)特征[8]是一种基于二进制特征描述符的局部特征，具有计算速度快、旋转不变性、噪声不敏感等特点，在复杂环境中也能够实现精确匹配。因此，本文提出一种结合ORB特征匹配的均值漂移目标跟踪算法，介绍了ORB特征以及相关的匹配算法，并对跟踪过程中ORB特征匹配结果对mean-shift跟踪算法的修正方法进行了研究，并与几种常见的特征修正的mean-shift跟踪算法进行了实验对比。实验结果表明，本文算法充分利用了ORB特征匹配精度高、计算速度快的优点，提高了mean-shift跟踪算法在复杂背景下目标跟踪的鲁棒性与准确性。

1 ORB特征

1.1 特征点检测

ORB算法在通过FAST特征算法获取关键点。FAST (features from accelerated Segment test)特征[9]其定义为：若某像素点与其周围邻域内足够多的像素点处于不同的区域，则该像素点可能是角点。考虑在灰度图像中，若一个像素点的灰度值比周围邻域内足够多的像素点的灰度值高或低，则该点可能是FAST特征点。由于FAST特征点只比较灰度值的大小，其优点是计算速度快，但不具有旋转不变性与尺度不变性。

为了使ORB特征具有旋转不变性，需要为每一个FAST特征点确定一个方向。ORB使用了灰度质心法为FAST特征点选取方向，灰度质心法假设角点的灰度和质心之间存在一个偏移，则这个偏移向量可以表示一个方向。以特征点为中心和坐标原点，在其邻域S内计算质心位置，然后以特征点为起点、质心为终点构造方向向量，这个向量的方向即表示特征点的方向。定义区域S的矩：

mpq=∑x,yxpyqI(x,y)

(1)

则区域质心可以表示为：

(2)

特征点与质心的夹角定义为FAST特征点的方向：

θ=atan2(m01,m10)

(3)

1.2 特征点描述

ORB算法使用二进制的BRIEF描述子对检测得到的特征点进行描述，并针对BRIEF描述子不具备旋转不变性和对噪声敏感的问题，进行了改进。对于给定的图像，从图像中选取一块大小为S*S的局部区域P，在图像块P上进行二值测试。二值测试τ准则如下:

(4)

其中:X和Y是两个像素点的位置，即二维坐标。P(X)和P(Y)是像素点位置X和Y的灰度值。图像块P中共选取nd对像素点进行二值测试(nd一般选取256)，则图像块P的BRIEF特征描述子为nd维的二进制比特串：

fbd(p)=∑isisnd2i-1τ(p;xi,yi)

(5)

所有特征点中选取N对特征点，得到一个N*2的描述矩阵S：

(6)

利用特征点检测得到的特征点方向θ确定相应的旋转矩阵Rθ,得到新的描述矩阵Sθ:

Sθ=RθS

(7)

也就可以得到修正后的Steered BRIEF描述子:

gn(p,θ)=fnd(p)|xi,yi∈Sθ

(8)

同时ORB算法采用了在特征点邻域的31*31像素区域内随机选择5*5的子窗口，通过比较子窗口的灰度积分代替点对的像素值以达到消除噪声的效果。

1.3 特征点匹配

假设d1,d2是ORB算法构造的二进制描述子:

d1=x0x1…x255,d2=y0y1…y255

通过汉明距离的异或计算得到两个ORB特征描述子的相似度，用D(d1,d2)表示：

⊕yi

(9)

图1 特征点匹配结果

图1中(a)～(b)两组图中左侧为最初的匹配结果，右侧为优化后的匹配结果。表1为不同的特征点匹配数量及耗时。通过特征点匹配实验可以看出，FREAK虽然在运算速度上与ORB相差无几，但提取的特征点对数量远低于ORB，且最小汉明距离远高于ORB，匹配的效果相对较差。相对于FREAK算法，ORB算法在针对复杂场景下的实时跟踪方面更胜一筹。

2 改进型算法

2.1 均值漂移算法

MS理论[10]由于其计算速度快，在视觉跟踪领域得到

表1 特征点匹配数量及耗时

了大量应用。mean-shift跟踪算法首先选定所要跟踪的目标，将其位置作为初始目标位置，通过计算跟踪窗口所在区域的颜色直方图与颜色直方图模板之间的相似度，使得相似度最大的跟踪窗口作为目标在当前帧图像目标的位置。采用均值漂移算法实现目标跟踪的步骤如下：

1)选取目标模板；

2)均值漂移算法确定搜索窗口；

3)当前帧的目标区域作为下一帧输入迭代计算，直到跟踪结束。

2.2 色彩模型

为促进国内生猪养殖行业的不断发展，还需要我国加强各种生物安全措施的落实力度，做好入境口岸的检疫以及检测工作，并构建重大外来动物疫病的预警机制，从传播途径上有效限制ASF疫病的发生，对于我国的生猪养殖行业也有非常重要的意义。

(10)

其中:bf:R2→{1,2,…，m}是将其颜色特征映射到直方图的映射函数，δ( )是Kronecker函数，K( )为核剖面函数，h是核剖面半径，C为归一化系数。

2.3 目标重定位与模板修正

由于ORB特征匹配算法与Mean-Shift算法可以得到两个目标区域，这两个目标区域的宽度与高度相同且不改变，但目标区域中心点可能不同，通过ORB特征得到的目标区域对mean-shift算法得到的目标区域进行修正，得到最接近目标实际位置的输出以及重新确定图像特征模板。算法整体流程如下：

Step 1:算法开始；

Step 2:在初始帧选取所要跟踪的目标并提取其ORB特征与色彩模型；

Step 3:通过ORB特征匹配和Mean-Shift算法分别定位目标区域；

Step 4:通过ORB特征得到的目标区域对mean-shift算法得到的目标区域进行修正，确定跟踪目标的ORB特征与颜色直方图模板，输出跟踪目标的位置；

Step 5:重复Step3-Step4，直到结束读取连续视频图像；

Step 6:算法结束。

其中目标区域修正的规则如下：

1)计算两个目标候选区域的重合度，重合度计算公式如下所示：

(11)

其中:area1是Mean-Shift得到的目标框区域，area2是ORB得到的目标框区域，若重合度大于0.9，则以重合区域的中心作为目标的中心，修正目标区域的ORB特征模板与颜色直方图模板。若不满足此条件，进行下一步的融合修正。

2)计算目标候选区域中心与上一帧图像目标所在区域中心的欧式距离。若二者的欧式距离都小于阈值A，则进入下一步；若其中一个欧式距离大于阈值，则以距离较小者的输出作为最终输出；若二者的距离皆大于阈值，则继续进行下一步目标位置的融合修正。

3)计算两个区域归一化的色彩模型直方图与跟踪目标的色彩模型直方图的相关相似度，该相似度用巴氏系数距离表示。若二者的巴氏系数都小于阈值B，则进入下一步，本文中B取值0.85；若二者有其一巴氏距离小于阈值，则以系数较大者的输出作为最终输出；若二者的距离皆小于阈值，则继续进行下一步的融合修正。

4)若都不满足上述条件，则判定目标跟踪失败，但不改变目标模板，并将其作为下一帧图像的目标模板。

3 实验仿真

为检验算法的有效性，本文选择了一段视频进行复杂环境下的目标跟踪实验，并与Mean-Shift算法作进行比较。实验的硬件环境为Intel(R)Core(TM)i3-2100@3.10 GH与3.09 GHz CPU，4 GB内存，Windows 7操作系统的PC机，软件环境为Visual studio 2010和Opencv2.43运行库。测试视频分辨率为860*480。

图2 跟踪效果图

图2中，三组图从左至右分别是第14帧、第26帧、第42帧。通过跟踪结果可以看出，跟踪目标在没有受到遮挡之前，由于环境复杂，背景颜色与目标颜色相差不大，即使跟踪目标在没有受到遮挡，基于FREAK的改进算法也出现了一定的窗口漂移现象，但漂移现象尚不严重，而mean-shift图2中三组图从左至右分别是第14帧、第26帧、第42帧。通过跟踪结果可以看出，跟踪目标在没有受到遮挡之前，由于环境复杂，背景颜色与目标颜色相差不大，即使跟踪目标在没有受到遮挡，基于FREAK的改进算法也出现了一定的窗口漂移现象，但漂移现象尚不严重，而mean-shift算法漂移现象严重，而本文的改进算法都能较好的跟踪目标。当目标受到树木的遮挡时，基于FREAK的改进算法出现了严重的窗口漂移现象，mean-shift算法跟踪失败，而本文算法可以对目标特征模板不断更新，从而达到降低目标跟踪的误差，实现对目标精确定位。

表2为不同算法跟踪实时性与误差率对比，通过对比数据可以看出，由于mean-Shift算法仅考虑目标的颜色信息，处理速度上最快，但误差最大；本文算法于基于FREAK特征的改进算法相比，在保证实时性的要求的同时提高目标踪精度。并与同类特征FREAK算子相比，本文算法具有明显的优势，实验结果证明了本文算法的实时性和准确性。

表2 不同算法跟踪实时性与误差率对比

4 结束语

针对传统的Mean-shift跟踪算法只考虑颜色信息，在复杂背景下目标跟踪准确度不高的问题，本文提出一种结合ORB特征的mean-shift目标跟踪算法。通过ORB特征匹配的跟踪窗口对mean-shift算法跟踪结果进行修正及时修正目标模板，可以减少目标跟踪误差，提高了背景颜色信息与目标颜色信息相近的情况下目标跟踪的精度，在目标部分遮挡的情况下能实现准确跟踪，并且具有较高的鲁棒性和准确性。

[1] 戴渊明. 视频序列图像中目标跟踪技术研究[M].杭州: 浙江大学，2012.

[2] Lin C K, Wolf M. Detecting moving objects using a camera on a moving platform [A]. IEEE International Conference on Pattern Recognition[C]. 2010: 460-063.

[3] Chen Z M, Bo Y M, Wu P L, et al. Novel particle filter algorithm based on adaptive particle swarm optimization and its application to radar target tracking[J]. Control and Decision, 2013, 28 (2):193-200.

[4] Beyan C, Temizel A. Adaptive mean Shift for automated multi object tracking[J]. IET Computer Vision, 2012, 6(1):1-12.

[5] 杜 凯. 关于均值偏移算法的运动目标跟踪算法的研究[D]. 西安:长安大学, 2012.

[6] 刘 晴，唐林波，赵保军. 跟踪窗自适应的Mean Shift目标跟踪算法[J]. 系统工程与电子技术, 2012,34(2):409-412.

[7] 戴渊明,韦 巍,林亦宁. 基于颜色纹理特征的均值漂移目标跟踪算法[J]. 浙江大学学报(工学版), 2012, 46(2), 212-217.

[8] Rublee E. Rabaud V. Konolige K, et al. An Efficient Alternative to SIFT or SURF[A].Proc of the IEEE International Conference on Computer Vision[C]. Barcelona. Spain.2011:2564-2571.

[9] Rosten E,Porter R,Drummond T. Faster and better: a machine learning approach to corner detection[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2010.32(1):105-119.

[10] Alahi A, Ortiz R, Vandergheynst P. FREAK: fast retina keypoint [A]. Computer Version and Pattern Recognition[C]. 2011: 510-51.

A Kind of Mean-shift Target Tracking Algorithm Combined with ORB Feature Matching

Dai Wenjun1, Chang Tianqing1, Su Kuifeng1, Wang Quandong1, Huang Jieyin2

(1.Department of Control Engineering, Academy of Armored Forces Engineering, Beijing 100072, China; 2.No.447 Factory Military Representative Office of Beijing Military Bureau, Beijing 104030, China)

In view of the traditional mean-shift tracking algorithm based on single color feature space, and it is difficult to accurately track the target in complex background, and a mean-shift target tracking algorithm based on ORB feature matching is putt forward. The algorithm on the basis of mean shift algorithm and using the improved ORB feature matching algorithm to modified object tracking window and update the target feature template timely. Determination tracking failure through calculate Euclidean distance of the center of the target and color template Bhattacharyya distance of the target in adjacent two frames. When the target tracking failure, it does not change the target template and continue to search for target in the next frame image. The experimental results show that, compared with mean shift algorithm and other improved algorithms based on similar features, the proposed algorithm can improve the accuracy of target tracking in complex background, and can meet the requirement of real time

ORB feature; color model; target tracking

2016-06-27；

2016-07-22。

戴文君(1993-)，男，湖南衡阳人，硕士研究生，主要从事目标跟踪方向研究。

常天庆(1963-)，男，河南郑州人，教授，博士生导师，主要从事火控系统及其智能化方向的研究。

1671-4598(2016)12-0143-04

10.16526/j.cnki.11-4762/tp.2016.12.041

TP391.4

A