一种适应光照多变的夜间前景提取方法

叶慎飞　汪志成　张志君

摘 要：夜间前景提取是智能监控的必要处理过程，也是新时代下店铺防盗的高效手段。提出了一种在强弱光多变下具有检测鲁棒性的动态目标自动提取算法。在亮度通道上利用直方图均衡技术根据设置参数自适应灰度增幅，结合Canny边缘图像进行差分处理，最后给出前景提取算法。实验结果表明：在强弱光不同光照环境下，该方法可以很好的削弱不同光照对前景提取带来的多噪声、过度曝光等影响，提高前景对比度，相比其他方法，显示效果清晰完整，并满足实时性要求。

关键词：前景提取;直方图均衡;边缘图像;差分处理

中图分类号：TP751.1      文献标识码：A

A Night Foreground Extraction Method Suitable for Changing Light

YE Shen-fei，WANG Zhi-cheng，ZHANG Zhi-jun

（East China University of Technology， Nanchang， Jiangxi 330013，China）

Abstract：Nighttime foreground extraction is a necessary process for intelligent monitoring and an efficient means of anti-theft for shops in the new era. A dynamic target automatic extraction algorithm with robust detection under strong and weak light is proposed. On the brightness channel， the histogram equalization technique is used to adaptively increase the gray scale according to the set parameters， and the differential processing is performed in conjunction with the Canny edge image. Finally， the foreground extraction algorithm is given. The experimental results show that： under different light environments with strong and weak light， this method can well reduce the effects of different noise on the foreground extraction， such as multiple noise and overexposure， and improve the foreground contrast. Compared with other methods， the display effect is clear and complete. And meet the real-time requirements.

Key words：foreground extraction; histogram equalization; edge image; difference processing

目前大部分店铺相对较小，夜间自我防护能力普遍较差，普通监控无法满足数据化、智能化管理，智能监控成为主流。动态目标提取是当前店铺安防行业的研究热点，它的主要作用是跟踪有位置变化的物体进行数据特征计算，最后达到主动预警的目的，已有不少学者对此进行了研究。

葛鲲鹏[1]在红外视频帧基础上利用三帧差分法进行人体目标检测，但目标距离太远容易漏检，且前景区域易造成空洞;谭康霞[2]也是在红外下利用HOG特征和SVM分类器进行夜间人体检测，但距离远的目标也会出现漏检误检的情况，且计算量大无法满足视频实时性;徐传铎[3]在红外下利用高斯混合背景建模和背景减除法进行夜间人体检测，但计算量大与多目标模型成正比，对于移动速度慢的目标，检测不是太灵敏;张运楚等[4]利用改进的近似中值滤波双尺度背景模型对夜间人体进行检测，但对光照较敏感易造成误检;张晟[5]利用改进的直接差分法结合Meanshift算法能够有效地检测夜间渡口监控的船舶，去除水面上的“鬼影”区域，但不能对船只完整的提取。师乐等[6]结合自适应高斯模型和转换HSV颜色模型方法提取人体轮廓，易受肤色及光照影响，不适合夜间提取。Seba Susan等[7]利用图像直方图的最大非扩展熵分区对夜间前景进行分割，但在复杂的光照条件下鲁棒性不高。M.Sivagami等[8]利用粒子群优化技术进行背景建模，并结合背景减除法提取前景，对背景要求比较高且实际情况下背景得不到及时更新。Dariusz Frejlichowski等[9]利用高斯混合模型背景建模，使用Haar和HOG描述符进行前景提取跟踪，像素点级运算实时性是个很大的挑战。Y.Mary Reeja等[10]利用幀差法提取前景，然后通过判别鲁棒局部三元图案（DRLTP）提取边缘进行车辆检测，使用场景局限性较大，对非刚性行人提取效果较差。

上述方法在夜间光照坏境较为理想的情况下提取效果较好，但在弱光环境下像素点信息缺失造成的噪声问题，强光下过度曝光，细节丢失问题，对前景提取造成了极大的影响。其中大部分是利用红外结合辅助光源进行提取，硬件寿命、成本问题较大且易受有雾、雨等复杂环境影响，其余方法只能够在特定条件下提取运动目标前景，实时性还需提升。

利用视频帧的亮度通道图像数据及其边缘数据做差运算，对像素点亮度信息进行求余增加对比度的特点改善基于局部直方图均衡的前景提取方法，流程如图1所示。

本方法主要包括亮度提升处理、提取前预处理及优化以及前景提取三部分，各部分内容如下：

（1） 亮度提升处理：转换到Ycrcb颜色空间，针对其中的亮度分量Y进行局部直方图均衡，提升视频帧亮度。

（2） 提取前预处理及优化：利用Canny算法，修改相关参数进行视频帧轮廓检测，并与其亮度通道图进行做差运算，保留轮廓区域特征值及其他像素点反转值，增加图像对比度及清晰度。

（3） 前景提取：在差分图像的基础上，利用改进的Vibe算法进行动态前景检测，修改有关参数，改善提取效果。

主要创新点是利用Ycrcb颜色空间下Y通道轮廓特征数据进行做差运算，并通过改进的Vibe算法提取动态前景，很好的提升了轮廓与背景对比度，削弱了影响检测的噪声，最终方法在强弱光变化下具有一定的鲁棒性。

1 亮度提升处理

1.1 颜色空间转换

人眼观察事物对于本身所反射的光照亮度更加敏感，而计算机中传输的RGB格式图片由三色叠加呈现，把颜色模型转换成Ycrcb格式更适合人眼感知，也可更好的针对性处理。Ycrcb颜色模型其中Y代表亮度，cr、cb代表颜色分量，并且是数字信号，抗干扰能力强噪声积累少，因此更适合夜间视频帧的亮度提升实验。

1.2 局部直方图均衡

针对Y通道图像，首先根据尺寸分成若干个M*M=10*10大小的图块;对每一个图块进行直方图均衡统计出每个灰度级离散数据，然后进行累积分布得到连续的曲线函数CDF（i）即每个灰度级占有比例构建局部映射函数m（i），对CDF（i）求导得Hist（i），m（i）的导数S就是对比度增幅，反应的是对像素点亮度增强权重：

S=m′（i）=Hist（i）×255M×M（1）

局部直方图均衡容易出现曝光现象，原因是夜间图像的直方图在灰度级为0附近过高，导致映射函数变化幅度大，相应的增强幅度增大。因此，为了防止过增强，利用对比度限制进行进一步优化，针对局部图块，当亮度增率S超过设定的阈值T后会平均到各灰度级上，消除增幅函数“尖峰”区域，允许最大增幅Smax=T+L。经过多次实验，将T值设为6.0，夜间图像效果最好，局部图块之间边界过度最自然，最后的直方图均衡的计算公式为：

图2为在复杂光照环境下亮度提升效果。图2（a） 展示了弱光下亮度提升效果，通过观察窗帘、人像可以看出前背景对比度及细节纹理提升效果明显，但提升较不均匀，局部色差、斑点问题存在。图2（b）可以看出在多强光环境下提升效果更好，削弱了过度曝光现象，但存在一定的光晕现象。

2 提取前预处理及优化

2.1 Canny边缘检测

（1）利用高斯平滑滤波去除多余噪声，式（3）表示高斯滤波核Hij的计算过程，它的大小决定了去噪性能。经过实验，针对夜间监控视频帧将sigma=1.4、尺寸大小设置为3×3效果较好。

Hij=12πσ2exp-（i-（k+1））2+（j-（k+1））22σ2;1≤i，j≤（2k+1）（3）

2）利用边缘点与邻域像素点灰度值变化幅度大的特征检测物体轮廓，本实验利用3×3 Sobel算子模板在上节图像的垂直方向和水平方向上作卷积运算得值GxGy，由此利用公式（4）计算边缘梯度大小G及方向θ：

G=G2x+G2yθ=arctanGyGx（4）

3）轮廓特征优化。夜间图像灰度变化集中，检测轮廓粗乱，需要非极大值抑制进行精细，去除边缘附近因噪点而导致的误检测，利用线性插值保留边缘处最大值。纹理检测造成的伪边缘是我们不需要的，利用滞后阈值进行进一步优化。经过实验，minVal=30，maxVal=50最为合适，效果如图3所示：

图3为室内外亮度提升后轮廓提取效果。从图3（a）可以看出主体轮廓提取清晰完整，但亮度提升阶段遗留下的斑点问题导致出现很多白噪点，且轮廓集中区域提取的比较错乱。图3（b）中大体轮廓也提取的较完整，但环境复杂，重叠区域轮廓特征不能够直接辨别物体信息。

2.2 自适应优化

自适应过程如下：在弱光下，黑色联通域占大部分，前景稍亮部分处于灰度水平，可以很好的反转检测。在强光下，前景像素值接近白色，强光附近处于灰度水平，可很好的削弱过曝光，凸显前景。效果如图4所示：

利用边缘提取图像与亮度通道Y图像作差运算，结果图具备如下特点：

1）提取的轮廓像素值得到保留;

2）接近黑色和白色区域像素值发生反转;

3）其它灰度像素值不变。

由图4（a）可以看出，弱光环境下人像轮廓以边缘检测阶段的白色凸显，黑色反转成白色人像内部信息得到了很好的填充，肤色信息不变更好的增加了人像与背景的对比度。图4（b）中经过自适应优化削弱了多个强光源下所带来的椒盐噪声等，同时削弱了光晕现象使得强光附近细节区域更加清晰，总体增加了清晰度及对比度。

3 前景提取

Vibe算法使用一帧即可初始化背景模型，很好的满足了监控视频下突发情况的实时性。当t=0时，即第一帧背景模型BKM0初始化公式如下：

BKM0=f0（xi，yi）|（xi，yi）∈NG（x，y）（5）

其中f0（xi，yi）表示當前点的像素值，NG（x，y）表示空域上相邻点的像素值。

提取过程如下：判定某一点时存储随机的其若干个领域点像素值，建立模型样本集N，用逐像素遍历的方式建模速度很慢，所以这里利用了python对数组的批量操作特性来实现;计算当前点与每个样本点的欧式距离，小于阈值R则归其为判定点的近似样本点;若近似样本点个数大于阈值T时，则判定点为背景反之为前景。本实验参数设置为：N=20、R=20、T=2。

由于采用了運动物体的像素初始化样本集容易产生拖影效果。为了解决这一问题考虑从其背景更新策略入手。保守策略会引起必要的死锁反应，Blind策略检测不出移动幅度小的物体，并都会产生一定的拖影现象。本实验结合了保守策略与前景点计数方法，在保守策略的基础上如果同一点连续N次检测为前景点，则最终修改为背景点。

当前点被判定为背景点时，设定1/φ的概率更新背景模型样本值，同时利用像素值的空间传播性也以1/φ的概率去更新其邻域点的模型样本值，这让当前点的背景模型得到了领域相似点模型值得补充，很好的消除拖影现象。当前点被判定为前景点的次数达到N次归类为背景点后，以上述同样的概率设定去进行更新。

在更新模型样本值时采取的是随机方式，这样可以保证背景模型平滑的生命周期，由此一个样本值在时刻t不被更新的概率是 （N-1）/N，假设时间是连续的，那么在dt的时间过去后，样本值仍然保留的概率是：

P（t，t+dt）=N-1N（t+dt）-t（6）

由公式（6）可以看出背景模型中的样本值是否被替换与时间没有关系，随机进行样本值更新是行的通的。鉴于本实验中要提取的前景动作幅度小，有限的移动范围，将参数概率设置为1/φ=1/32最为合适。

4 实验结果分析

通过修改基于Ycrcb颜色模型的局部直方图均衡算法的相关参数，亮度提升在亮度、颜色、噪声上达到了出色的平衡，接着通过Canny边缘检测和本文提出的自适应优化后，对比度、清晰度在强弱光不理想的光照环境下都能得到很好的增强，局部细节纹理更加清晰，能够很好的适应光照多变环境及后期的前景提取。

最终效果如图5所示。可以看出在微光或多强光等光照不理想环境下，经过图像自适应优化后前景提取内容较充实，实时性满足监控需求，且不受前景动作速度、幅度的影响都能够对主体轮廓很好的提取，没有出现拖影现象，但“鬼影”区域还是无法彻底消除。

图6为其他算法在弱光下的最终效果图，可以看出（a）只能检测到前景的大体轮廓;（b）只能检测

到动作幅度大的头部区域，且存在拖影;（c）前景较能很好的检测出来，但拖影现象严重;（d）提取前景内容空洞，噪点、拖影现象存在。

图7为其他算法在多强光环境下前景提取效果，可以看出（a）提取前景内部空洞，提取效果不明显;（b）只能对前景进行大概标记，无法准确识别出具体轮廓;（c）效果与本文方法相似，但背景更新慢易出现拖影现象;（d）对更新背景要求高，多光照下背景像素值多变化，易误检。

综上，本方法无论在弱光下还是强光或多个光照下，都能对前景进行快速准确的提取，削弱前景因动作速度、幅度产生的拖影等问题。

5 结 论

利用智能算法进行优化，使得普通可见光摄像头也可进行夜间监控，硬件成本较低且使用寿命也比主流的红外摄像头长。对前景提取的研究为摄像头被动监控向主动式监控发展，从“看得见”到“看得懂”，在智慧城市、雪亮工程等国家政策的推动下为下一代AI监控奠定了理论基础。后期准备利用深度学习神经网络对提取到的前景视频帧进行训练，让监控系统自动识别偷盗行为，这将大大提高店铺的防盗能力。

参考文献

[1] 葛鲲鹏. 基于红外图像的人体检测跟踪与类别判定[D].长沙：国防科学技术大学，2016.

[2] 谭康霞. 基于车载红外图像的行人检测方法研究[D].南京：东南大学，2018.

[3] 徐传铎. 夜间模式下基于人体姿态的安全监控研究[D].上海：东华大学，2017.

[4] 张运楚，陈永福，杨红娟.夜间弱光环境下运动目标的检测[J].山东建筑大学学报，2016，31（2）：119-124.

[5] 张晟. 渡口监控视频中的船舶检测研究[D].大连海事大学，2016.

[6] 师乐，汤汶，万韬阮，等.复杂背景下的人体轮廓提取算法[J].科学技术与工程，2019，19（9）：138-142.

[7] SUSAN S， SINGH R， KUMAR A， et al. Segmentation of dark foreground objects by maximum non-extensive entropy partitioning[J]. International Journal of Applied Research on Information Technology and Computing， 2018， 9（1）： 67-71.

[8] GAMI M， REVATHI T， JEGANATHAN L. An optimised background modelling for efficient foreground extraction[J]. International Journal of High Performance Computing and Networking， 2017， 10（1-2）： 44-53.

[9] LICHOWSKI D， GO'S  CIEWSKA K， FORCZMA'N  SKI P， et al. Application of foreground object patterns analysis for event detection in an innovative video surveillance system[J]. Pattern Analysis and Applications， 2015， 18（3）： 473-484.

[10]REEJA Y M， LATHA T. Moving vehicle detection and tracking using discriminative robust local ternary pattern edge extraction for traffic surveillance[J]. Asian Journal of Research in Social Sciences and Humanities， 2016， 6（10）： 1796-1806.