基于视频的人数统计方法综述

孙万春　张建勋　瞿先平　马慧

摘要：在视频监控领域中，人数统计工作一直是研究的热点话题，视频人数统计工作是实现和完善在图像视频监控领域应用的基础，如果能够准确、快速、低成本的完成人数统计工作，无论在商业领域、安全领域等都会带来无限的应用空间。因此，本文在前人所做的基础之上，结合近些年该领域的发展情况，进行了比较有针对性的描述。对一些比较热点的方法进行了详细的理论介绍，希望相关研究工作者能够基于本文所作的相关研究，发挥其更大的价值。

关键词：人数统计；视频；综述；角点检测

中图分类号：TP391.4 文献标识码：A 文章编号：1007-9416（2018）01-0049-03

随着我国科技水平不断的提高，城镇化发展日益成熟，公共场所的人流量呈现上升势头，无论是在商业领域还是公共场所的安全监控领域都具有非常大的应用价值。基于人工监控的人数统计不仅耗时、耗力，在当下高速发展的科技时代，人工成本也是一笔高昂的支出，除此之外，由于人长时间处于同一状态的环境工作下极易出错，因此如何利用计算机视觉技术解决人数统计问题一直以来备受关注。与此同时，人群集中问题也会引发一系列的安全问题[1]，比如2014年12月31日午夜，在上海外滩发生了严重的踩踏事件，造成了人员伤亡。因此，人数统计工作有着十分重要的现实意义。

最初的人数统计方法主要是通过一些红外传感、压力传感器等机械装置来进行。通过机械装置进行人数统计，会在人过多时造成压力板检测不够精准、红外设备检测被遮挡等情况，导致无法精确的计算出统计结果，与此同时传统设备需要不定期的人工保养，也是一笔不小的资金。

近年来，国家综合经济能力的提升，图像处理等相关技术得到了迅猛的发展[2]，通过智能化的图像处理技术来进行相关人数统计的工作越来越受到市场的青睐。国内重点高校等纷纷成立人工智能方面的相关实验室，为该科技的发展提供了坚强的基础保障。目前市场上通过视频采集进行人数统计的相关成熟的产品，大致使用了包含以下几种方式，Beymer等通过立体式摄像机来对区域目标进行检测、跟踪工作，从而统计人数，Schofield和Sonham等将神经网络用在单一摄像机上以达到人数统计的目的，除此之外运用人体的各类特征进行统计较多，比如头发、颜色、人形轮廓等。

1 人数统计研究现状

目前，计算机视觉领域比较有影响力的期刊（PAMI、IJCV、CVIU、PR）和国际会议（ICCV、CVPR、ECCV）等[3]为智能视频图像领域的研究工作者提供了广阔的交流平台来展现自己最新的理论研究成果。迄今为止人数统计主要将目标检测、分割、形态分析、特征提取和识别等多领域的技术知识进行了融合，如图1所示是目前较常采用的人数统计基本思路。

国内方面[4]，虽然智能视频技术发展相对较晚，但是从国家到科研机构、高校等都非常重视和积极的推荐相关研究工作，公安部门等也将视频监控项目纳入城市报警和监控系统的重要工程之中。比如，2008年的北京奥运会和2010年的上海世博会均采用了国内自主研发的人脸识别系统确保会场等安全工作，为活动的顺利举办提供了有效的安全保障。在国外，上世纪90年代末视觉跟踪算法如雨后春笋一般涌现出来，Aggarwal等人对该类算法进行了分类[5]，一类是光流法，另一类是基于特征点的相关算法。随着近三十多年来视觉领域的异军突起，目前的人数统计方法各式各样。一般研究工作者根据个人研究情况需求往往选择某一种处理方法来得到人数统计，人数统计关键在图1中的目标检测环节。如图2所示，本文针对人数统计的方法中所融合的目标检测，分割、形状分析、特征提取等多種特征技术，进行分类，并对各种分类下的统计方法进行逐一归纳分析。

2 基于目标特征的统计方法

视频监控的人数统计方法有很多，其中比较有代表性的主要有基于形状特性的方法、基于颜色特征的方法、基于轮廓信息统计分类的方法、基于模板匹配的方法等。

2.1 基于形状特性的方法

形状特性主要包含人体头部、躯干、头肩等，依靠人体形状特性来进行检测。比如文献[6]提出了先划分竖直轴线，根据人体对称性来进行人体目标识别，包含计算目标区域的水平、垂直方向的投影并进行投影柱状图的分析判断从而进行目标标记。文献[7]则通过人头特征具有类圆的特性，对人头进行抽样、椭圆拟合等特性判断来进行人数统计，该方法在人群密度较低的场景中取得了较好的效果。基于形状特性的方法对人体的轮廓特征要求较高，当目标与其他干扰特征类似时，容易产生较大的误差。

2.2 基于颜色特征的方法

颜色特征是区分图像之间分类的一种基本方法，基于颜色特征的人数统计方法主要利用人体肤色或者发色等与场景中的背景色差异较大来进行统计。比如文献[8]为了提高视频监控中的人头检测率，通过在HIS颜色空间建立人头颜色模型，结合头发灰度范围来进行人头检测。

2.3 基于轮廓信息统计方法

颜色特征进行统计对于目标为单一对象的结构和特征的描述不能够进行细分，相比较而言，轮廓信息对于提高单一目标的精度具有有效性。除此之外，轮廓信息的目标检测对目标的颜色变化、外界光照环境变换下都具有稳定性。1954年，美国心理学家Attneave在对人的视觉感知进行研究发现，人的视觉系统能通过物体的轮廓或者形状特征，而不用其他任何信息的帮助就能够快速的对目标进行识别。任何目标物体在不同的场景、环境下可能呈现出不同的人群面貌，但通过研究调查分析报告得出其轮廓特征信息基本不变足以说明轮廓特征的研究在对图像识别领域方面具有重要的意义。目前常用的轮廓提取方法包括Canny算法、Prewitt算法、Sobel算法等，Canny其检测速度较慢，但检测效果较好，是目前最常采用的方法。Prewitt算法检测时间较快，具有一定的抗噪能力。Sobel算法对于噪声较多的图像处理能力较好，对图像质量要求较高。表1对三种轮廓边缘检测方法进行了比较。

2.4 基于模板匹配分类方法

模板匹配的方法是利用先验知识，通过某种特征来对计算机进行训练，通过机器学习对模型进行分类后识别的一种方法。比如刘冠群等人[9]对视频监控中存在步态识别算法准确率较低问题，通过模板匹配进行步态识别提高了其准确率。文献[10]对在复杂场景下传统方法姿势识别效果不理想的情况，通过对每组特征信息进行分类，再通过模板进行匹配，在遮挡等复杂环境下实验结果均较满意。

3 基于度量的统计方法

统计学方法中认为，人群数量和人群特征之间存在着某种关系，这种关系可以通过相关的数学模型来进行描述，当然这种数学模型的描述不可能仅仅通过简单的函数构造来实现。

为了解决人群数量和人群特征之间存在的某种未知关系时求解方法，训练器被众多学者所提出。训练器目前使用比较多的是训练向量机。通过对样本进行训练，让计算机通过学习获得分类器，再用训练好的分类器去进行识别。文献[11]中通过使用SVM向量机对样本特征进行训练来计算与人群数量之间的关系，从而达到统计人数的目的。

也有学者认为人群某种特征与人数之间一定存在某种确定的数学模型，通过该数学模型一定能够准确统计出人数。比如文献[12]，认为人群的角点特征与人数之间存在一种一阶线性模型关系，通过卡尔曼滤波的思想，可以推算出人数。

目前来看基于度量下的统计方法较多采用特征点进行人数统计工作。因此本文将常用的特征点检测分为：（1）基于灰度图像的角点检测。（2）基于二值图像的角点检测。（3）基于轮廓曲线的角点检测。

3.1 基于轮廓曲线的角点检测

通过轮廓边缘曲率、夹角、对称性等来进行角点判定。文献[13]等人在1975年提出了用角点强度K来提取角点，这是学术界最早有人提出了相关思想，虽然该方法容易受到噪声等各种外界因素的影响，但是方法較为简单，被众多学者采用。1988年，Mokhtarian等人[14]提出了一种CSS的轮廓曲线角点检测算法，一度被认为是当时最好的检测方法。后来的很多算法均是基于该算法而进行的改进。下面对此算法的基本思想进行阐述。

CSS算法的基本思想是：对目标窗口轮廓进行T型检测，对T型交叉的每一个点进行标记。设定一个参数 ，利用高斯函数，计算轮廓曲线上某一点的曲率。

从上述公式不难看出，对于求得的局部最大曲率，通过定义一个适当的阈值，即可判断该候选角点是否是角点。该算法通过各个尺度下的变换特征来实现角点候选和检测，根据该思想不断有学者提出了各种改进算法。

3.2 基于二值图像的角点检测

文献[15]提出了一种基于形态骨架的角点检测方法，该方法把原始图像看作一个多边形，通过检测骨架中最大圆盘为零的点来获得角点，并由它的补图来获得凹的角点，通过由原图及不凸获得角点进行异或操作，对角点进行离散，该方法借助于硬件易于实现，且抗干扰性较强，由于目前很多科研工作者提出的很多方法中都融合了相关的思想，因此目前很少能看到仅仅使用此单一方法来进行角点检测，但是此方法还是需要在本文中归为一类。

3.3 基于灰度图像的角点检测

灰度下的角点检测方法需要对图像中的像素点信息进行获取，利用相邻像素点之间的变化关系来进行特征判断。目前主要有以下3种方法：（1）基于梯度的方法，该方法利用边缘曲率进行角点判断，相关阈值的规定同边缘方向变化、强度等有关系。（2）基于模板的方法[16]，该方法主要利用相邻像素点的灰度变换，对变化差较大的点认定为角点。文献[17]提出一种利用模板匹配的人脸图像特征提取方法，对人脸突出特征的眼睛、嘴部进行定位并利用遗传算法视频模板匹配最优，该方法能够达到较快的收敛速度。（3）基于模板梯度方法，该方法在前者方法改进基础上，罗斌[18]等人利用电磁场理论中相关鞍点检测来代替角点的一种综合方法。

4 结语

人数统计在计算机视觉领域一直是比较热门的研究话题，本文针对该领域进行了详细的阐述和说明，将人数统计分为两类，一类是基于目标特征方法，包含形状特性、颜色特征、轮廓信息统计、模板匹配等。另一类是基于度量的统计方法，该类主要包含了灰度图像的角点检测、二值图像的角点检测和轮廓曲线角点检测等。并对每一类通过经典的文献以及最近的文献研究成果进行了简述，希望通过本文对人数统计相关技术的介绍，能够对该领域的相关研究工作者提供一定的帮助。

参考文献

[1]周进科，刘翠萍，靳凤彬，王晓妹，李金红，翟香香，王翠翠.拥挤踩踏事件伤亡情况和发生原因分析[J].中华灾害救援医学，2015，3（02）：67-71.

[2]何晓辰. 基于图像信息的决策方法研究[D].东北大学，2014.

[3]丁丽君. 基于模板的可信传播立体匹配算法[D].天津大学，2009.

[4]徐宁. 基于DM6467T的视频控制网络节点的设计与开发[D].华中科技大学，2013.

[5]赵明瀚，王晨升.基于视频的人数识别方法综述[J].软件，2013，34（03）：10-12+54.

[6]Gavrila D M， Giebel J. Shape-based pedestrian detection and tracking[C]// Intelligent Vehicle Symposium. IEEE， 2002：8-14 vol.1.

[7]裴冠军. 监控视频中人群的密度估计和行为分析[D]. 中国科学技术大学， 2011.

[8]赵军伟，侯清涛，李金屏，彭勃.基于数学形态学和HSI颜色空间的人头检测[J].山东大学学报（工学），2013，43（02）：6-10.

[9]刘冠群，罗桂琼，谭平.基于类Haar特征模板匹配的多镜头步态识别算法[J].计算机工程，2017，43（12）：231-236.

[10]罗会兰，冯宇杰，孔繁胜.融合多姿势估计特征的动作识别[J].中国图象图形学报，2015，20（11）：1462-1472.

[11]黄瑜青. 基于支持向量机的文本自动分类器的研究与应用[D].广东工业大学，2012.

[12]李虎，张二虎，段敬红.基于PCA和多元统计回归的人群人数统计方法[J].计算机工程与应用，2014，50（11）：206-209.

[13]Rosenfeld A， Weszka J S. An Improved Method of Angle Detection on Digital Curves[J]. IEEE Transactions on Computers， 1975， C-24（9）：940-941.

[14]Mokhtarian， Farzin. Multi-Scale Description of Space Curves and Three-Dimensional Objects[J].1988：298-303.

[15]刘文予，朱光喜.二值图像角点检测的形态骨架法[J].信号处理，2000（03）：276-280.

[16]宁丽. 基于几何形状的图像识别——链码技术与聚类分析在形状识别中的应用[D]. 江南大学， 2008.

[17]王展，皇甫堪，万建伟.基于模板匹配的人脸图像特征提取[J].计算机辅助设计与图形学学报，2000（05）：333-336.

[18]罗斌，E.R.Hancock.图象角点检测的矢量场方法[J].中国图象图形学报，1998（10）：32-35.