监控场景中遗留物检测与报警系统开发

郎宇博 孙 鹏 于德水 曹 阳 李愈鹏 陈彦伶

（中国刑事警察学院声像资料检验技术系 辽宁 沈阳 110035）

监控场景中遗留物检测与报警系统开发

郎宇博 孙 鹏 于德水 曹 阳 李愈鹏 陈彦伶

（中国刑事警察学院声像资料检验技术系 辽宁 沈阳 110035）

作为智能监控系统的一部分，遗留物检测系统的主要作用是检测监控场景中有意或者无意遗留下来的行李、包裹、车辆等目标，并在检测出可疑遗留目标后发出警报，同时在视频中对遗留物进行标注。利用双背景建模方法检测遗留物掩膜，结合Camshift算法对疑似遗留物进行跟踪。在跟踪过程中，引入与搜索窗匹配的延迟因子方法避免遗留物的遮挡问题，成功实现并验证了该方法对于遗留物检测及报警的有效性。在此基础上，利用EmguCV开源计算机视觉库及Visual Studio2015和.NET框架，基于C#开发语言成功完成了视频中遗留物检测与报警系统的设计与实现。

遗留物检测 双背景建模 Camshift跟踪

1 研究背景

自从“9·11”恐怖袭击事件发生以来，全球的反恐怖主义形势越发严峻，加强对恐怖袭击事件的防范，大力打击恐怖活动组织成为世界各国反恐工作的重点。我国面临的恐怖势力主要是新疆、西藏等边境地区的民族独立分子与极端宗教主义分子。在人流密集区域及政治敏感区域煽动暴乱及制造爆炸等是这些暴徒的主要攻击手段。来自恐怖主义的威胁使得对于人流密集场所和安全级别较高的场所等重点区域的安防工作压力陡增，因此，对于机场、车站等人群密集、人流量大、人员组成复杂的场所的监控系统的智能化需求也越来越高。

正是在这种需求下，智能视频监控系统作为安全防范体系的重要组成部分得到了很大的发展。智能监控系统是指在不需要人为干预的情况下，通过对视频图像序列的自动提取和分析，实现画面内目标的定位、识别和跟踪，在此基础上完成目标行为的判断，一旦发现异常，主动向用户发出警报，真正实现了“监”、“控”结合打击犯罪、反恐预警的目的[1]。

作为智能监控系统的一部分，遗留物检测系统的主要作用是检测监控场景中被有意或者无意遗留下来的行李、包裹、爆炸物、车辆等目标，并在检测出可疑遗留目标后发出警报，同时在视频中对遗留物进行标注。2005年的伦敦地铁爆炸案、2008年的昆明公交车爆炸案和2013年的波士顿马拉松爆炸案都是凶手通过引爆放置在现场的爆炸物造成的。遗留物检测与报警系统一经发挥作用，可以有效地避免上述案件的再次发生，极大地减轻公安一线视频侦查员的工作负担，因此，视频中遗留物检测成为了反恐与安防领域内的重要研究内容。

本系统在双背景建模法检测遗留物的基础上，利用Camshift算法对疑似遗留物进行跟踪。跟踪过程中，考虑到遗留物出现的被遮挡、移动等情况，引入了基于搜索窗匹配的延迟因子，成功实现并验证了该方法对于遗留物检测及报警的有效性。在此基础上，利用EmguCV开源计算机视觉库及Visual Studio2015和.NET框架，基于C#开发语言成功完成了视频中遗留物检测与报警系统的设计与实现。

2 理论依据

2.1 基于双背景建模的遗留物检测

基于背景模型的目标物检测是利用视频内容建立视频的背景模型，通过视频帧与背景模型做差即可得到视频画面中的前景目标。而双背景建模方法是建立两个背景模型，其中一个是实时更新的背景模型，另一个是延迟更新的背景模型。当视频中存在遗留物时，由于遗留物品会在画面中的固定位置存在一定时间，因此会在实时更新的背景模型上存在残影，而延迟更新的背景模型则没有变化，因此，可以利用这两个模型做差找到其中存在的遗留物，从而实现遗留物的检测[2]。

本文中把实时更新的背景图像叫做“实时背景”，把延迟更新的背景图像叫做“慢背景”。“实时背景”的更新方式非常简单，当视频中的一帧图像输入系统时，首先判断该帧是否为视频的第一帧或者最后一帧，如果是第一帧，则将该帧的灰度图像初始化为当前的“实时背景”，如果是最后一帧，则结束该循环。当第二帧图像输入系统时，首先将其灰度化，并将其每一点像素值和“实时背景”的对应像素值做比较，如果该像素值大于“实时背景”像素值，则“实时背景”相应的像素值加上一个常数，反之，则“实时背景”相应的像素值减去一个常数。“慢背景”的更新方式更为简单，首先将视频第n帧时的“实时背景”作为初值初始化为“慢背景”，此后每过n帧即将当时的“实时背景”作为当前的“慢背景”[3]。

在检测遗留物时，我们只需要用当前“实时背景”减去当前“慢背景”即可得到遗留物的前景图像。此时可以通过去噪、平滑、形态学处理等手段获取更为精确的遗留物前景图像，二值化后得到其掩膜，便于后续处理。

双背景建模法的具体流程如图1所示。

图1 双背景建模法流程图

为了验证算法有效性，选取AVSS 2007 i-LIDS遗留物检测视频库中的一段视频进行测试，图2为算法运行结果。

图2 双背景建模算法运行结果

2.2 Camshift跟踪算法

Camshift算法的全称为“Continuously Adaptive Mean-SHIFT”，即连续自适应Mean-SHIFT算法。该算法的流程是对视频的每一帧图像进行Mean-SHIFT搜索运算，并将视频第k帧的Mean-SHIFT运算结果，即搜索窗的大小和中心点作为第k+1帧搜索窗口的初始值，如此迭代直至视频最后一帧。由于采用了迭代的思想，因此该算法能够随着目标的大小变化及比较缓慢的亮度变化进行调整，并且自适应地变换跟踪窗口的大小进行跟踪。

该算法的流程分为以下几个步骤：

（1）初始化算法搜索窗的大小和位置（本系统中，该值可以设为2.1节中检测到的遗留物掩膜的最小外接矩形）；

（2）计算搜索窗内图像的色彩概率密度图，并根据该色彩概率密度计算整幅图像的反向投影图；

（3）根据Mean-SHIFT算法，利用（1）（2）中的搜索窗初始位置及反向投影图计算下一帧的搜索窗大小及位置；

（4）将（3）中计算得到的新搜索窗作为（2）的输入，重复（2）、（3）中的步骤直至视频结束。

该算法流程图如图3所示。

图3 Camshift算法流程图

2.3 基于搜索窗匹配的延迟因子

为了避免视频中行人、车辆等对遗留物遮挡导致的跟踪失败，同时也为了能够在遗留物被遗留超过规定时间后系统自动报警，本文设计了一组基于搜索窗匹配的延迟因子。

搜索窗矩形匹配的主要作用就是判断两帧中Camshift得到的搜索窗结果是否一致，如果搜索窗结果一致，则表明两帧中跟踪的疑似遗留物被成功跟踪并且没有被遮挡或移动；反之如果搜索窗结果不匹配，则证明跟踪的目标并不是遗留物或者遗留物出现遮挡、移动等现象，这时需要判断延迟因子是否满足阈值条件，如满足，则继续跟踪，否则放弃跟踪该目标。搜索窗匹配的判定条件如下所示：

该延迟因子分为两部分，第一部分是遗留物被检测到的帧数，即“检测数”，每当两帧的搜索窗匹配成功的话，“检测数”加一，当“检测数”达到阈值时，即判定该物体为遗留物。第二部分是“漏检数”，当两帧搜索窗匹配不成功时，系统并不会马上判定该物品为非遗留物，因为漏检可能是由于遮挡、光线变化等问题导致的，为了避免这种情况，采用“漏检数”来判断物品此时的状态。每当匹配不成功时，“漏检数”加一，当“漏检数”到达一固定阈值时，则判定物品非遗留物。图4为该方法流程图。

3 系统设计与实现

3.1 UI界面的设计与实现

UI界面的主要作用就是与系统用户进行交互的平台，对于本系统来说，UI界面的主要功能有以下几点：

（1）播放视频，并且同时具备在视频中标注遗留物的功能；

（2）为用户提供修改或选择参数的接口，方便用户针对现场视频的不同，采取不同的参数来应对，使系统的效率和准确率更高；

（3）因为本系统暂时未设计网络视频播放的功能，试验阶段拟通过本地视频播放模拟网络视频，因此需要提供打开视频的按钮；

（4）视频文件基本信息的显示；

（5）系统窗口的最小化及关闭功能。

图4 基于搜索窗匹配的延迟因子方法流程图

基于上述功能，在Visual studio 2015开发工具及.NET平台的支持下，设计并开发了如图5的系统UI界面。

图5 系统主界面

主界面主要由标题栏、视频播放及报警区域、参数设置区域、视频信息显示区域及按钮区域组成，各区域分布如图6所示。

图6 系统主界面功能区说明

视频播放及报警区域主要功能是用来播放视频画面，并且当视频画面中遗留物体超过一定时间后会标注并报警。参数设置区域给用户提供了两组参数，第一组是遗留物大小和遗留时间的设置，遗留物大小就是设置画面中可能出现遗留物的大小，而遗留时间则是当系统检测出疑似遗留物后，至少经过多久才发出报警，用户可以根据不同的需求及视频环境进行设置，使得系统有更好的针对性。而第二组参数涉及背景建模方式、慢背景更新率及形态学处理阶数，一般用户不需要调整该组参数，高级用户可以根据需求自行设定。

3.2 系统逻辑功能模块的设计

根据设计方案，按照数据采集处理流程的视频中遗留物检测与报警系统总结构如图7所示。

图7 系统结构总图

视频数据读入到系统之后，首先通过EmguCV中Capture类的QueryFrame方法将视频文件分解成一帧帧图像，然后利用帧图像作为双背景建模模块的输入去计算遗留物掩膜，接下来将掩膜的最小外接矩形作为初始搜索窗，使用Camshift算法迭代，最后利用搜索窗匹配判定该物品是否为遗留物，如为遗留物，则标注并报警。

为了验证本系统的有效性，使用AVSS 2007 i-LIDS遗留物检测视频库中的一段视频对系统进行测试。

首先，打开主界面，根据视频质量及摄像头位置、遗留物尺寸等条件调整界面参数设置栏中的参数。对于测试视频，使用系统默认参数即可。然后点击界面右下角的“打开视频”按钮，在“打开文件对话框”中选择目标视频，点击“确定”。此时，视频开始播放，主界面显示如图8。

图8 播放视频界面

视频播放到1724帧时，遗留物出现在画面中，如图9所示。

图9 遗留物出现

由于遗留物之前处于运动状态，因此系统此时并没有检测到该物品的存在。在视频第2039帧时，系统检测出疑似遗留物，并对其进行标记。此时，由于遗留时间并未达到系统设置时间，因此没有发出警报，效果见图10。

此时可以看到视频中不光标记出了遗留物品，还标记出了另外两块空白区域，这是因为地铁车厢的运行对系统造成的干扰，地铁车厢驶离该区域后，该区域搜索窗迅速扩散，由于搜索窗匹配系统的存在，很快就会排除该干扰，并不会造成误报警。

图 10 检测出遗留物

直到视频第2604帧时，遗留物到达遗留时间，系统开始标记并报警，如图11所示。

图11 遗留物达到遗留时间，系统报警

视频播放至第4007帧时，由于行人的走动，对该遗留物产生了遮挡，如图12所示。

图12 遗留物被行人遮挡

图13 遮挡后系统继续跟踪

在遮挡后，虽然系统内该遗留物“漏检数”在增加，但是仍在阈值范围内，所以在遮挡消失之后系统可以继续跟踪该物品，如图13所示。

4 结论

本系统利用了在遗留物检测领域内较为成熟的双背景模型方法，结合Camshift对遗留物进行跟踪，在此基础上加入了基于搜索窗匹配的延迟因子避免遗留物出现的移动和遮挡等情况。在此理论基础上，利用C#语言及.NET框架，在Visual studio 2015开发工具和EmguCV开源计算机视觉库的支持下，设计并能开发出在Windows操作系统下运行的视频中遗留物检测与报警系统。实验证明该系统能够有效监测视频中遗留物并发出警报。

[1]齐明明.视频监控智能分析中移走检测算法的研究[D].北京:北京邮电大学,2008:1-6.

[2]范俊君,战伟.一种基于双背景模型的遗留物检测方法[J].计算机系统应用,2012(8):201-205.

[3]Singh A, Sawan S, Hanmandlu M, et al. An Abandoned Object Detection System Based on Dual Background Segmentation[C]// Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance:2009. Italy: IEEE Computer Society, 2009:352-357.

（责任编辑：于 萍）

Abandoned Objects Detection and Alarm System Development in Surveillance Scene

LANG Yu-bo SUN Peng YU De-shui CAO Yang LI Yu-peng CHEN Yan-ling
(Audio-Visual and Image Technology Departmentof Criminal Investigation Police University of China Liaoning Shenyang 110035)

Abandoned objects detection system is a part of intelligent surveillance systems. The main function of the abandoned objects detection system is to detect items (e.g. luggage, parcels, etc.) and vehicles that are left over intentionally or unintentionally in the monitoring scene. When any suspicious abandoned object is detected, the system will alarm and marked them on the frame. Dual background model was used to detect the abandoned objects mask, and Camshift algorithm was used to track the position. During the tracking, a delay factor based on search window matching is proposed to avoid the occlusion of the abandoned objects, and the validity of the proposed method for the detection and alarm of the abandoned objects is successfully realized. Based on C# development language, the abandoned objects detection and alarm system are completed by using EmguCV, Visual Studio2015 and .NET framework.

Abandoned objects detection Dual background model Camshift

TP391.4

A

2095-7939(2017)02-0123-06

10.14060/j.issn.2095-7939.2017.02.025

2016-11-01

国家自然科学基金（编号：61307016）；辽宁省自然科学基金（编号：2014020193）；辽宁省高等学校优秀人才支持计划（编号：14021B171210Z）。

郎宇博（1989-），男，辽宁沈阳人，中国刑事警察学院声像资料检验技术系助教，主要从事视频检索与数字图像真伪检验研究。