一种融合特征点与运动补偿信息的运动目标检测新算法

张 娜 魏海平 于红绯

(辽宁石油化工大学计算机与通信工程学院 辽宁 抚顺 113001)

一种融合特征点与运动补偿信息的运动目标检测新算法

张 娜 魏海平 于红绯

(辽宁石油化工大学计算机与通信工程学院 辽宁 抚顺 113001)

动态背景下的运动目标检测在汽车辅助驾驶、机器人导航等领域具有广阔应用前景。提出一种融合特征点运动信息和运动补偿信息的运动目标检测方法，解决以往基于单一特征，运动目标检测完整性差的问题，同时提高运动目标的检测准确率。首先，通过特征点检测跟踪，对图像进行分块运动估计，获得背景特征点的帧间运动模型，通过衡量特征点真实运动位置与运动模型的匹配程度，构建特征点的运动度量函数，从而获得特征点的运动信息。接着，利用背景特征点帧间运动模型，计算图像像素点的运动补偿图像，构建像素点的多帧运动补偿差异度量函数，从而获得像素点的运动补偿信息。最后，将特征点运动信息与运动补偿信息融合，获得运动目标检测结果。实验结果表明了该方法的有效性。

动态背景 融合 运动补偿 运动目标检测 单目相机

0 引 言

动态背景下运动目标检测是辅助驾驶、自动驾驶、机器人导航等领域的核心研究问题之一。和静态场景[1]下的运动目标检测相比，动态场景下的运动目标检测，由于背景也发生图像运动，增加了检测的难度。现有的动态背景下运动目标检测方法按照采用特征的不同，大致可以分为基于特征点[2]和基于运动补偿[3-4]的运动目标检测方法。前者通过提取图像中的特征点，并根据运动特征点和背景特征点，在摄像机运动过程中表现出的运动差异信息，检测运动特征点，从而获得运动目标的位置。该类方法能检测到运动目标上离散的特征点，但不能检测出完整的运动目标区域，运动特征点检测结果易受到误匹配特征点的影响，造成误检测，如文献[5-6]。后者通过估计图像的运动补偿模型，将图像像素点代入运动补偿模型，计算运动补偿图像，根据像素点在运动补偿图中的亮度差异值，检测运动目标区域，如文献[7-8]。该类方法对运动目标的边缘部分检测较好，但是对运动目标的内部区域检测效果不够理想，当目标的运动速度较慢时，容易造成检测目标的内部空洞问题。

文献[2]中将特征点在不同时间流的运动轨迹描述在同一帧图像，根据运动轨迹误差来确定运动目标的位置。该方法有效地去除了跟踪失败的特征点。但是，检测出的特征点是离散的且数量不多，运动目标完整度不高。文献[3]中把每个像素点建立一个背景模型，对其进行运动补偿，根据运动补偿情况判断是否是运动目标，该方法速度快。但是，对运动目标检测结果内部空洞情况没有明显提高。文献[4]将当前帧的前后相邻L帧图像，补偿到当前帧，检测结果的完整性有了提高。但是，该方法不能实时检测出运动目标。

为了克服了特征点只能检测出离散点，弥补运动补偿方法只能检测出运动目标边缘轮廓的缺陷，实时地检测出运动目标，提高运动目标的完整性与准确率。本文提出将特征点与运动补偿信息方法融合，根据视差大小将一帧图像分成两部分进行运动估计，使模拟的运动情况更接近相机的运动真实运动，用滑动窗口方法将稀疏特征点变成稠密特征点，并基于贝叶斯理论，将两种方法融合。相比于现有的基于单一特征方法，本算法提高了运动目标的完整性，实现了实时检测。

1 特征点运动信息提取

本文利用Harris特征点检测算法[9]与KLT跟踪算法[10]获得连续两帧图像的特征点，用特征点构建全局运动函数模型。传统的全局运动估计方法将视差影响因素忽略不计，不同的视角区域采用同一种运动模型估计易造成特征点误检。本文根据视差大小首先采用分块方法将整帧图像按视差的大小分成两个区域，两个区域采用两种不同的运动模型估计。再利用特征点真实运动位置与经运动模型变换的位置计算差值，构建出特征点的运动度量函数，从而获得特征点的运动信息。

1.1 基于分区域的运动模型构建

根据相机的工作原理[11]，距离相机光轴较近的目标视角小，视差也小，受相机运动的影响小。相机光轴与图像平面的交点位于图像几何中心点。相机运动引起视差变化，视差大小不同使图像上的目标运动系数不同。位于图像边缘和中心点的目标运动系数相差较大。根据像素点距离图像中心点的远近，将整帧图像划分成两个区域，对两个区域采用两种不同的变换模型进行运动估计。

1.1.1 图像分区域算法

图1 图像区域划分

R区域半径r的取值与像素有关，根据本文采用的视频数据实验，选取0.5倍的min(M,N)，M、N分别为当前图像像素的行数和列数。

由图1可知，R区域和S区域距离图像的几何中心远近不同，受相机运动的影响不同，采用统一运动模型进行运动估计，效果不好。对R区域和S区域采用不同运动参数的运动模型进行运动估计。

1.1.2 算法实现

常用的运动模型有6参数仿射变换模型和8参数双线性变换模型[12]，如式(1)和式(2)所示。

6参数仿射变换模型：

(1)

8参数双线性变换模型：

(2)

为了提高时间效率且不影响结果完整性，本文采用6参数仿射变换模型。对Ct中的特征点进行判断，结合与其对应的Ct+1，计算出在R和S区域内的第一组和第二组运动参数，构建出两种运动模型。设p1=(ct,x,ct,y)为t时刻图像帧中任一特征点p1的坐标，p2=(ct+1,x,ct+1,y)是t+1时刻图像帧与p1点对应的p2的坐标，(ct,x,ct,y)∈Ct，(ct+1,x,ct+1,y)∈Ct+1。

t时刻位于R区域内的图像特征点Ct到t+1时刻的特征点Ct+1的变换矩阵模型为VR，S区域内的变换矩阵模型为VS。位于R区域内的任意特征点ct,i∈Ct与其对应的t+1时刻的特征点ct+1,i∈Ct+1，满足如下等式：

ct+1,i=VR×ct,i

(3)

S区域满足：

ct+1,i=VS×ct,i

(4)

对于所有的t时刻和t+1时刻在两个区域R、S范围内特征点，分别构成关于VR和关于VS的两组方程组。对于VR和VS的求解可采用最小二乘法[13]实现，统称VR和VS为VM，其成本函数为：

(5)

根据式(5)可得到中间全局运动函数VM。

经单次检测的特征点中包括运动目标上的点，运动目标上的特征点被当成是背景特征点代入运动模型，求解出的运动参数会造成全局运动估计误差增大，所以本文采用文献[14]的二次运动估计方法。首先，将所有特征点代入式(1)-式(5)，解出近似运动参数，确定中间运动模型VM；然后，将偏离运动模型大的特征点去除；最后，把剩下的特征点再一次代入运动模型式(1)和式(2)，用式(3)-式(5)求解出更加准确的运动参数，构建出全局运动模型V。

1.2 特征点运动信息提取

构建出全局运动模型后，将图像中的所有特征点带入运动模型，获得变换后的特征点位置。同时，提取特征点的真实运动位置；利用特征点的模型变换位置与真实运动位置，构建特征点运动度量函数，提取出特征点运动信息。

设特征点为f(x,y),将特征点的位置坐标(x,y)代入式(6),获得经运动模型变换后的位置g(x2,y2)，提取出f(x,y)的真实运动位置f(x1,y1)，计算出f(x1,y1)和g(x2,y2)的误差，构建出运动度量函数d。d的函数值越大于合理阈值q，则该点越是运动目标特征点mc(x,y)：

g(x2,y2)=f(x,y)×V

(6)

(7)

(8)

经过大量实验q的取值范围在0.5～1.5范围内合理。由此可得到特特征点运动信息图像，如图2所示。

图2 特征点跟踪

图2中(a)是当前帧图像，(b)是特征点运动信息提取图像，图中标记出的点是用上述方法获得的经模型变换和真实位置相差程度点，其中颜色越深表示运动幅度越大。

2 运动补偿信息提取

运动补偿方法计算简单易实现[15]，常见的运动补偿方法分为单帧补偿和多帧补偿。单帧运动补偿方法是用每连续两帧图像做一次全局运动估计，获得运动补偿图像。多帧运动补偿是利用多帧图像中的两帧，做一次运动估计，获得一张运动补偿图像，利用该补偿图像做模型变换得到下一帧图像的补偿图像。当运动目标运动缓慢时，连续两帧图像中的运动目标和背景运动差异度小，运动目标容易被补偿成背景，造成运动目标提取不完整。而且，连续几帧图像的运动参数变化小，单帧运动补偿方法是利用每连续两帧图像构建一次运动模型，该方法计算量大，时间效率低。为了提高运动目标提取的完整性，提高算法时间效率，本文采用多帧运动补偿方法，构建运动补偿图像，计算运动补偿差异函数，进而提取出运动补偿信息。

2.1 构建运动补偿图像

首先，设定连续几帧图像的数量k；然后，计算出k帧图像中前两帧图像的运动参数，获得运动模型，构造出运动补偿图像；最后，将构造出的运动补偿图像进行模型运动变换，得到下一帧图像的运动补偿图像。

设Ft(x,y)为当前帧图像的真实图像，Fi(x,y)为Ft(x,y)的连续前k帧图像。将这k帧图像中的前两帧代入式(1)-式(5)中，计算出帧间运动参数，获得运动模型，构造出一幅运动补偿图像；然后，用这幅补偿图像做模型变换，将模型变换后的图像作为第三帧图像的运动补偿图像。以此类推，构造出k帧图像中其余每帧图像的运动补偿图像。运动补偿图像Fcom(x,y)构造方法如下所示：

(9)

V(i+1,i)表示利用第i+1帧和第i帧图像信息得到的帧间运动模型，由式(1)-式(5)计算得到。

2.2 运动补偿信息提取

构造出k帧运动补偿图像后，将运动补偿图像与当前帧做差分，计算出像素点的多帧运动补偿差异函数Fc(x,y)。

(10)

图3 运动补偿信息图像

图3中：越亮的区域越表示运动目标，图中的运动区域只有简单的轮廓且有干扰区域。

3 特征点与运动补偿信息融合

利用特征点方法检测的结果矩阵是离散的，运动补偿方法检测的是稠密的，两种检测结果像素不同，不能直接融合，利用滑动窗口方法将稀疏特征点变成稠密特征点。运动补偿方法得到运动目标只有轮廓边缘，为了提高运动目标的完整性，对补偿信息图像进行模糊化处理，再将两种方法的检测结果融合检测出运动目标。将特征点跟踪检测算法获得的运动目标特征点信息，进行稠密化。同时将运动补偿信息模糊化，方法与稠密化相同。再把二者结果融合，检测出准确完整的运动目标。

3.1 稠密化

设大小为W×W(W为奇数)的窗口，分别对特征点运动信息图像与运动补偿信息图像进行逐点遍历，遍历步长度为L。计算该窗口内所有像素me(x,y)的平均值记为α(x,y)，(x,y)为当前窗口的中心坐标：

(11)

其中：M、N分别表示图像横向与纵向的像素点个数。

3.2 标准化

为了使特征点信息与运动补偿信息对运动目标提取的影响大小一致，本文将两种方法获得的信息图像都进行标准化处理，标准化至s1～s2范围。设稠密图像像素点的范围在r1～r2，r1与r2的获取采用逐点遍历方法，r1是稠密图像灰度值的最小值，r2是最大值。利用线性变换将稠密图的灰度值映射在s1～s2范围，得到标准化图像。映射关系为：

(12)

a、b分别为线性变换的系数项和常数项由式(13)和式(14)可得：

(13)

(14)

则稠密图中任意一点的灰度值me(x,y)，映射到s1～s2的变换关系为：

n(x,y)=a×me(x,y)+b

(15)

其中：n(x,y)为经过标准化图像的灰度值，本文s1取100，s2取1。

经稠密化和标准化可得到分别得到特征点运动信息标准化图像Fb(x,y)与运动补偿信息标准化图像Ff(x,y)，如图4所示。

(a) 特征点运动信息标准化图

(b) 运动补偿信息标准化图图4 当前帧信息标准化图

图4中：(a)是特征点运动信息经过稠密化与标准化获得的标准化结果图像，(b)是运动补偿信息经过稠密化与标准化获得的标准化结果图像。

3.3 融合特征点与运动补偿信息检测运动目标

得到特征点与运动补偿信息标准图像后，将两种方法获取的标准化信息融合。只有同时满足，既是特征点检测运动目标像素点，又是运动补偿信息的运动目标像素点时，才能最终确定为运动目标像素点Fm′(x,y)。计算方法如下：

(16)

(17)

Fm′(x,y)=Fc′(x,y)×Ff′(x,y)

(18)

运动目标检测结果如图5所示。其中：图像中越亮的地方代表运动目标运动地越明显。经过稠密化与标准化得到的运动目标变得密实，但是干扰的杂质点多。两种方法获得的标准图像的杂质不同，将二者融合后，消除了杂质，运动目标完整性与准确性提高。

图5 融合方法检测出的运动目标

4 实验与分析

为了检验本文算法的有效性，采用F-measure方法[14]对提出的运动目标检测新算法进行有效性性能评估。利用Matlab软件实现运动目标的检测，测试序列的图像大小为240×360，在双核处理器，4 GB内存联想台式机上进行。实验根据提出的融合算法对实际视频图像处理，采集Hopkins155视频序列中的11段视频来测试算法的有效性。

F-measure方法如下：

(19)

(20)

(21)

其中：A代表检测出的目标中运动目标的个数，B代表检测出目标总数，C代表视频图像中真实的运动目标个数，Fm表示F-measure性能指标。只有P和R同时都大时Fm才大。对本文提出的算法利用11段视频数据进行F-measure方法评估，评估数据结果如表1所示。

表1 数据性能评估

由表1可以看出本文方法相对于运动补偿算法与特征点跟踪检测算法，运动目标正确检测个数与正确检测率都有明显提高。实验结果效果图如图6-图8所示。

图6 算法各部分结果

图7 car4序列上的对比实验

图8 分区域与不分区域对比实验

图6中(a)-(f)为视频序列car6用本文算法实现过程的中间结果图。从实验结果可看出，本文提出的基于两种信息融合算法，能实时检测出运动目标，运动目标的准确性与完整性都有所提高。图7为在car4序列上的对比实验结果，从左至右依次是视频序列中的第1、5、9、13和17帧的检测结果。图7(a)是car4序列原始图像。(b)是采用特征点检测跟踪算法的实验结果，其中有点标记区域是检测到的运动目标。(c)为采用运动补偿算法的实验结果，越亮的区域表示目标运动越明显。(d)为本文提出的融合算法实验结果，越亮的区域越表示运动目标。从实验结构图7(b)可以看出，运动目标的特征点离散，部分背景特征点被误检为运动目标特征点，部分运动目标特征点被误检为背景特征点，造成检测结果部分缺失，部分错误。图7(c)可以看出，对于运动目标只检测出边缘轮廓，运动目标内部空洞严重，而且也存在将显露背景误检为运动目标的情况。而在图7(d)中，显露背景被有效地消除，准确完整地检测出了运动目标。图8是分别在视频序列car5上提取的第25帧图像，Seq1视频序列上提取的第16帧图像，Seq2视频序列上的第40帧图像。图8(a)是视频序列的原始图像，(b)和(c)分别为采用不分区域方法和分区域方法，检测出的运动目标实验结果图，其中亮的部分代表运动目标。通过对比图8(b)和8(c)可以看出，经过分区域构建运动模型，检测出的运动目标更加明显。对于car5图像，用不分区域方法，两个运动目标中间有明显的误检部分，而采用分区域方法则没有。对于Seq1和 Seq2图像，不分区域方法检测出的运动目标不明显，完整性低，分区域方法则明显度完整度提高。实验结果表明，通过分区域全局运动估计构建运动模型，融合特征点运动信息和运动补偿信息，不仅能准确完整地检测出单运动目标，而且对多运动目标也有效，进而验证了融合算法的有效性。本文提出的算法有效地克服了显露背景对检测结果准确度与完整度的影响，并且，不用单独做去除杂质操作。既提高了运动目标提取的完整性准确性，又简化了中间处理过程，提高了时间效率。

5 结 语

本文提出了一种基于融合特征点运动与运动补偿信息运动目标检测新方法。首先，将整帧图像分成两个区域，两个区域分别用两种变换模型进行运动估计，利用运动变换模型提取特征点运动信息。然后，利用多帧运动补偿方法提取运动补偿信息。最后，将特征点运动信息和运动补偿信息分别进行稠密化与标准化，把两种信息标准化结果融合提取出运动目标。实验结果表明，该算法有效地降低了相机移动对图像全局的影响，克服了特征点只能检测出离散点的问题，弥补了运动补偿方法只能检测出运动目标边缘轮廓的缺点，能够准确完整地检测出运动目标。时间上，两种运动目标检测信息提取过程可以并行化进行，与单线程的算法相比在总时间上损耗不明显。

[1] 王骁, 李博, 张硕,等. 基于DSP的地下停车场车流量视频检测的改进算法[J]. 电子器件, 2016, 39(3).

[2] 肖军, 朱世鹏, 黄杭,等. 基于光流法的运动目标检测与跟踪算法[J]. 东北大学学报(自然科学版), 2016, 37(6).

[3] 张维. 基于运动补偿及全局背景优化的目标检测[D]. 安徽大学, 2016.

[4] 吴思, 林守勋, 张勇东. 基于动态背景构造的视频运动对象自动分割[J]. 计算机学报, 2005, 28(8):1386-1392.

[5] Narayana M, Hanson A, Learned-Miller E. Coherent motion segmentation in moving camera videos using optical flow orientations[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013:1577-1584.

[6] Schueler K, Raaijmakers M, Neumaier S, et al. Detecting parallel moving vehicles with monocular omnidirectional side cameras[C]//Intelligent Vehicles Symposium (IV). IEEE, 2013: 567-572.

[7] Zhang P, Jiang Z, Wei L, et al. A motion compensation method for wide-swath synthetic aperture sonar[J].Chinese Journal of Acoustics, 2016, 40(3):153-161.

[8] 于明, 孙炜烨, 阎刚,等. 动态场景下基于精确背景补偿的运动目标检测[J]. 计算机应用与软件, 2013,30(10):139-141,198.

[9] Georgiadis G, Ayvaci A, Soatto S. Actionable saliency detection: Independent motion detection without independent motion estimation[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Antonio:IEEE, 2012: 646-653.

[10] 杨超, 蔡晓东, 王丽娟,等. 一种改进的CAMShift跟踪算法及人脸检测框架[J]. 计算机工程与科学, 2016,38(9):1863-1869.

[11] 钱元凱. 现代照相机的原理与使用[M]. 浙江摄影出版社, 2003:6-8.

[12] 吴栓栓. 基于单目视觉的运动行人检测算法的研究与实现[D]. 东北大学,2008.

[13] 吴路路, 韩江, 田晓青,等. 无偏差最小二乘法伺服控制系统参数辨识[J]. 中国机械工程, 2016, 27(1):109-113.

[14] Lin C C, Wolf M. Detecting Moving Objects Using a Camera on a Moving Platform[C]//International Conference on Pattern Recognition. IEEE Computer Society, 2010:460-463.

[15] Wu Y, He X, Nguyen T Q. Moving Objects Detection with Freely Moving Camera via Background Motion Subtraction[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015:1-1.

ANEWMOVINGOBJECTDETECTIONALOGORITHMBASEDONFUSIONOFFEATUREPOINTSANDMOTIONCOMPENSATIONINFORMATION

Zhang Na Wei Haiping Yu Hongfe

(SchoolofComputerandCommunicationEngineering,LiaoningShihuaUniversity,Fushun113001,Liaoning,China)

Moving target detection in dynamic background has wide application prospect in the field of automobile auxiliary driving and robot navigation. Therefore, a moving target detection method based on motion information and motion compensation information is proposed to solve the problem of poor detection integrity of moving targets based on a single feature, and improve the detection accuracy of moving targets. First, block motion estimation was performed by feature point detection and tracking, and the inter-frame motion model of background feature points was obtained. Moreover, by measuring the degree of matching between the true motion position of the feature points and the motion model, the motion measurement function of the feature points was constructed to obtain the motion information of the feature points. Then, motion compensation image of the pixel was calculated by using the background feature point inter-frame motion model to construct the multi-frame motion compensation difference measurement function of the pixel, and the motion compensation information of the pixel was obtained. Finally, the feature point motion information and the motion compensation information were merged to obtain the moving object detection result. The experimental results show the effectiveness of the proposed method.

Dynamic background Fusion Motion compensation Moving object detection Monocular camera

2016-12-22。国家自然科学基金项目(61273239)。张娜，硕士生，主研领域：数字图像处理。魏海平，教授。于红绯，讲师。

TP3912

A

10.3969/j.issn.1000-386x.2017.11.039