多摄像机环境下的目标跟踪

申明军,欧阳宁,莫建文,张 彤

摘 要:在多摄像机智能视频监控系统中,主要的难点是在多个摄像机之间对相同的目标建立正确的对应关系,即目标交接。利用目标离开视野域的时间和空间作为约束条件,结合模板匹配的方法,对没有视野重叠域的多摄像机监控下的目标进行连续跟踪。避免视野域内将所有目标进行匹配,提高了交接的实时性和准确率。

关键词:视频监控;多摄像机跟踪;颜色直方图;目标交接

中图分类号:TP911.73文献标识码:A

文章编号:1004-373X(2009)12-061-03

Multi-camera Object Tracking

SHEN Mingjun,OUYANG Ning,MO Jianwen,ZHANG Tong

(Graphic Information Institute,Guilin University of Electronic Technology,Guilin,541004,China)

Abstract:The main difficulty in multiple-camera tracking system is that the correct relationship to the same object between the multiple-camera is established.It can track the object in multi-camera video surveillance system of non-overlapping,using constraint conditions of the time and space when the object both leaving and entering the view of the camera,combined with the color histogram matching method.The immediacy and the accurate for avoiding the match to all of the objects in the view are improved.

Keywords:video surveillance;multi-camera tracking;color histogram;target handoff

0 引 言

由于具有直观性等特点,视频检测器被广泛用来对各种环境、区域和场所进行实时监控。例如:社区和重要建筑物内部的安全监控,城市路网交通状况的监控,地铁站和飞机场的监控,以及停车场和超市的监控等。受单个摄像机视域范围的限制,为了适应广域监控的需要,大量的视频检测器被广泛安置在整个监控区域中。随着视频检测器数量的急剧增加,传统的人工被动监控已经远远无法满足监控任务的需要。因此,实现可以代替人眼的智能自动监控功能已成为视频监控研究的目标,大量的研究成果也随之出现。

由于单摄像机的视野范围有限,难以实现大范围、多角度、长时间对人的跟踪,这使得多摄像机的使用成为必然。多摄像机具有监控范围大,视野宽阔,全方位视点等优点,使得多摄像机环境下的人体跟踪成为计算机视觉领域内的一个主要研究方向。多摄像机监控应用可以很好地解决监控中的阻塞问题,确保对目标长时间多角度的跟踪,可以弥补单摄像机监控的不足。

多摄像机跟踪中的目标交接是建立在单摄像机的检测和跟踪基础之上,对各个单摄像机的跟踪结果进行处理,从而得出正确的目标网络标号。文献[1]利用三维立体匹配算法,对目标建立灵活的外观模型,利用目标基于地面的深度信息对目标跟踪,最后由多摄像机融合部分利用目标的运动轨迹以及时间空间线索进行匹配。文献[2]是利用外观模型和轨迹相结合的方法进行多摄像机目标的跟踪。在多摄像机的协同工作问题上,这里利用目标距摄像机的距离作为限制条件,对摄像机在目标的监控进行优先安排。本文在单摄像机跟踪的基础上利用目标的位置坐标和时间对交接的目标进行匹配的范围予以约束,利用颜色-空间直方图匹配的方法对目标进行交接,达到连续的跟踪。构建2台摄像机组成的实验平台,验证可以实现连续跟踪的目的。

1 多摄像机监控的构建

多摄像机的目标监控可以分为有重叠视域和无重叠视域两种情况。这里主要讨论没有重叠视域情况下多摄像机监控系统的目标交接问题。

目标交接的定义:当对一个大的场景进行监控时,必须用到多个摄像机。假定有一个目标,当前在摄像机C1的视野内,经过一段时间后,该目标进入到摄像机C2的视野内,这时就必须确定目标的身份,即目标交接达到连续跟踪的目的。目标交接问题是多摄像机运动目标跟踪系统中的一个关键步骤,在多摄像机运动目标跟踪中起着举足轻重的作用,只有在成功解决这个问题的基础上,才能进行相关的后续工作,如行为分析、场景理解等。因此,它在整个系统中的地位非常重要。图1是存在重叠视野范围的多摄像机系统示意图。其中,C1,C2是两台摄像机。摄像机视野域之间是没有重叠区域的。

图1 无重叠域的多摄像机系统示意图

2 多摄像机监控的目标交接

2.1 目标的坐标和时间约束

当一个目标进入某个摄像机视野时,可能会出现以下2种情况:

(1) 此目标之前在另外一个或者另外几个摄像机的视野内,即为在其他摄像机中出现过的目标;

(2) 此目标之前不在任何其他摄像机的视野内,也即为新目标。为了判定此目标是否为新目标(即是否在其他摄像机中出现过),可以根据摄像机的视野边界线来确定。

在用单摄像机运动目标检测模块检测到有一个目标Oj进入或者离开摄像机Cj视野时,检查目标的质心坐标P(x,y)所在区域范围是否在两台摄像机两条相邻视野边界线的区域内,如图2所示。C1,C2是两台摄像机的视野域。Area1,Area2分别是摄像机C1,C2毗邻且没有重叠域的视野部分。当目标由Area1行进进入Area2时,急需进行目标身份的确认,即进行目标的交接,对目标进行连续跟踪。当目标由摄像机C1离开进入摄像机C2时,记录目标从摄像机C1离开时刻T1和进入摄像机C2的时刻T2。设T为离开摄像机C1到进入摄像机C2的间隔时间限制,一般设为3~5 s。如果(T1-T2)≤T,对这两个目标进行匹配,以确认监控网络的标号。如果目标出现在C1,C2时,质心坐标不在Area1或者Area2区域范围内,则将这个目标当作新目标。对目标给予坐标和时间的约束,很大程度上减少了目标交接时,进行目标直方图匹配所需的匹配目标直方图个数,提高了实时性和准确性。

2.2 目标空间-颜色直方图及匹配

颜色直方图是一种最直接反映目标颜色信息的方法,但是一般的颜色直方图只能反映出目标颜色信息的统计特征。失去了目标颜色的空间分布特征,而目标颜色的空间分布特征对目标而言是很重要的一种信息。文章采用一种基于颜色-空间二维直方图进行目标匹配的方法。将目标图像分割成5×5的小块,再将这些小块按照与目标质心距离给予不同的权重重新组合成一种具有重叠方式的图像块;然后统计每块区域内的颜色直方图,以得到该图像的颜色-空间二维直方图;最后结合目标的时间-坐标约束,对直方图进行匹配,利用得到的目标直方图进行相似性的计算。

图2 目标质心坐标约束示意图

2.2.1 空间-颜色直方图

这里采用具有重叠方式的图像分块方法,通过在每一区域内统计颜色直方图来获得颜色的空间分布信息。首先,将目标图像均分成5×5块:A=[P1,P2,P4,P5,P7,P8],B=[P1,P2,P3,P4,P5,P6],C=[P2,P3,P5,P6,P8,P9],D=[P4,P5,P6,P7,P8,P9],E=[P10,P13,P15],F=[P10,P11,P12],G=[P12,P14,P17],H=[P15,P16,P17],如图3所示。其中,E,F,G,H分别位于图像的左、上、右、下部分,代表场景;A,B,C,D是对位于图像中央主体部分的细分,分别代表目标图像主体的左半部、上半部、右半部和下半部。A,B,C,D四部分彼此是相互重叠的,这样的分块方法使每块都包含了图像的中心部分P5,从而在一定程度上避免了由于分块过小而破坏目标颜色完整性的缺点,并保留足够丰富的颜色信息。E,F,G,H的宽度较窄,这样可以通过限定信息有效性的方法来提高匹配的准确性。因此任意两个子块颜色直方图的加权平均都相当于对重叠区域进行加权后,在两个区域的并集内统计的“加权”颜色直方图,这更有利于突出图像主要部分(重叠区域)的颜色分布特征。例如:颜色直方图A+B 强调了图像左上部分的特征;颜色直方图A+C 强调了图像垂直中间部分的特征。因此可以根据图像内容的空间分布更灵活和准确地描述图像的颜色特征。

图3 目标图像分块

由于人体目标属于非刚性目标,受到姿势变化等的影响较大,目标上半身中间的颜色信息给予较大的权重,而其他部分的颜色信息给予较小的权重。

2.2.2 目标直方图匹配

在单摄像机跟踪基础上得到目标的颜色-空间直方图。对于得到的直方图在需要进行交接时如2.1所述,使用Bhattacharyya系数方法可用来计算2个目标图像直方图的相似程度。对于2个有m级的直方图p和q,有:

p={pu}u=1,2,…,m,∑mu=1pu=1(1)

q={qu}u=1,2,…,m,∑mu=1qu=1(2)

式中:pu,qu表示在颜色直方图p,q 中分别属于颜色级数u的概率。直方图p,q的相似度可以利用式(3)计算得到:

d(p,q)=1-∑mu=1puqu(3)

在将目标直方图颜色分块后,计算两个目标分块直方图p,q的匹配程度时,计算这两个直方图的距离:

D(p,q)=∑8i=1ωidi(4)

式中:i=1,2,…,8,分别对应A,B,C,D,E,F,G,H这8个分块;ωi是每一个分块的权重值,根据距离质心的距离,可给予不同的权重值;di是两个目标直方图对应子块的Bhattacharyya距离,这里得到的是一个Bhattacharyya系数,即一个度量值。通过分析D(p,q)值可知两个直方图颜色不匹配的程度,从而得到正确的匹配结果。结合对交接目标进行的时间和坐标限制,对目标进行正确的交接,以达到连续跟踪的目的。

3 实验结果及分析

这里构建一个由两台摄像机组成的没有重叠视野域的实验平台。单摄像机的跟踪是采用blob跟踪算法。对目标进行跟踪,并构建目标的直方图颜色模型。实际场景如图4所示。图4(a),(b)分别为摄像机C1,C2的视野域,两台摄像机间没有重叠视野域。图4(a)中有两个目标,图4(b)中没有目标,穿越中间的区域间隔时间为3~5 s。

图4 无重叠视野域的两台摄像机

图5是目标交接的结果。图5(a)在C1第17帧中检测到这个目标2;图5(c)在C2的第111帧中检测到这个目标,这个目标是C2中第1个目标,在C2中的标号是1。C1_2表示这个目标在第1台摄像机中的标号是2,即给出了目标的网络标号,对其进行连续的跟踪。同样,对第1个摄像机中的第3个目标给出标号C1_3,以达到统一标号连续跟踪的目的。

图5 两个目标交接

参考文献

[1]Zhao Tao,Aggarwal M,Kumar R,et al.Real-time Wid Area Multi-camera Stereor Tracking[A].IEEE Computer Society Coneference on Computer Vision and Pattern Rcognieiton,2005,1:976-983.

[2]Jinman Kang,Cohen I,Medioni G.Continuous Tracking within and across Camera Streams[A].2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C].2003,1:267-272.

[3]Yue Zhnaefng,Zhou S K,Chellappa R.Robust Two-camera Tracking Using Homognarhy[A].IEEE International Conference on Acoustics,Speech and Signal Processing[C].2004,3:1-4.

[4]Omar Javed,Sohaib Khan,Zeeshan Rasheed,et al.Camera Handoff: Tracking in Multiple Uncalibrated Stationary Cameras[J].Workshop Human Motion,2000:113-118.

[5]Jvaed O,Rasheed Z,Alatas O,et al.KNIGHTM:A Real-time Surveillance System for Multiple Overlapping and Non-overlapping Cameras[A].International Conefrence on multimedia and EXPO[C].2003,1:49-52.

[6]Utsumi A,Tetsutnai N.Human Tracking Using Multiple-Camera-based Head Appearance modeling[A].Sixth IEEE International Conference on Automatic Face and Gesture Reeongition[C].2004:657-662.

[7]陈伟宏.基于多摄像头的目标跟踪算法研究[D].长沙:湖南大学,2005.

[8]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[A].Ninth IEEE International Conference on Computer Vision[C].2003(2):952-957.