高速运动目标特征关联检测模型仿真

叶裴雷,张大斌

(1. 广东白云学院大数据与计算机学院,广东 广州 510450;2. 华南农业大学数学与信息学院,广东 广州 510642)

1 引言

随着科技的进步以及人类安全防范意识的增强,视频监控系统逐渐应用于社会的各种场所中。运动目标检测的精度和效率是视频监控系统智能化程度评价的依据[1],研究人员将克服环境干扰的运动目标检测方法作为研究目标,在运动目标检测研究中提出了一些有效的方法及模型,但对高速运动目标检测方法的研究还存在一些不足,因此,研究高速运动目标检测方法具有重要意义。

辛元雪[2]等人首先划分图像,统计图像块的特性,根据统计结果构建核密度估计模型,利用该模型获得图像的前景区域,提取像素点在前景区域中的纹理特征直方图,采用概率模型在直方图匹配的基础上完成背景更新,实现运动目标检测,由于图像中存在杂点,导致该方法的目标检测质量较差。谭熊[3]等人将视频序列输入卷积神经网络中,提取目标的运动特征,并对其展开光流计算,将小位移子网格引入卷积神经网络中,检测图像中存在的目标,该方法检测结果的AP指标和mAP指标较低,存在目标检测精度低的问题。左军辉[4]等人采用GMM完成视频图像的背景建模,将小波半阈值函数引入数学形态学中用于消除视频图像中存在的噪声,并通过自适应背景更新方法完成目标检测,该方法检测目标所需的时间较长,存在目标检测效率低的问题。

为了解决上述方法中存在的问题,提出基于深度学习的高速运动目标检测模型设计方法。

2 高速运动目标检测

2.1 阴影检测与去除

2.1.1 阴影判断

在高速运动过程中采集的视频图像容易存在阴影[5],为了提高目标检测精度,采用光照评估方法对图像展开阴影判断。

用mb表示亮像素在视频图像中的数量,构成亮像素集合Db,用md表示暗像素在视频图像中的数量,构成暗像素集合Dd,设Rb、Rd分别代表Db、Dd对应的能量值,其计算公式如下

(1)

式中,mj代表的是像素在集合Dj内的数量;ri代表的是像素i对应的能量值,可通过下式计算得到

(2)

式中,Mj描述的是像素I在运动图像中的邻域集合;m表示邻域像素数;Ii表示像素I的密度值。

经调查发现,阴影与运动目标在图像中拥有不同的亮度,前者通常低于后者,因此,可通过亮度能量值Rb判断视频图像中运动目标的可视程度。

当运动场景为白天等高亮级环境时,存在阴影的概率较低,即场景中阴影的亮度值较低。当场景属于雾天、雨天和晚上等低亮级环境时,目标在场景中较为模糊,难以辨识[6,7]。设置参数Ad=md/mb,其主要目的是衡量亮像素与暗像素在运动图像中的尺寸,当能量值Rb太大或太小且参数Ad的值较小时,此时阴影的亮度级较小,可忽略不计,另一种情况是场景的尺寸远高于阴影的尺寸,满足上述条件时,判断视频图像中不存在阴影,不需要对其展开阴影检测。

2.1.2 阴影检测与消除

当亮度条件保持不变时,非阴影区域和阴影区域内相同物体的色调基本不存在差异,物体在阴影区域内的色彩变化很小或不发生变化,通过上述分析,阴影图像F(i,j)可通过当前图与背景图得到[8,9],根据阴影灰度值对应的柱状图和目标灰度值对应的柱状图判断视频图像中阴影灰度值的分布范围,设置阈值Tm和宽泛阈值TM,通过下述公式分割视频图像中的阴影区域T(i,j)

(3)

阴影检测与去除的具体流程如图1所示。

图1 阴影检测与去除流程图

2.2 目标区域检测

2.2.1 兴趣点检测与冗余点剔除

在目标形变、光线变化和目标遮挡情况下像素级时空兴趣点检测具有较多优点[10],因此,在兴趣点检测基础上确定目标区域。

通过剔除兴趣点中存在的冗余点以提高目标检测的准确度和效率,将变换高斯核函数尺度因子引入实际目标区域检测过程中[11],构建滤波器,通过滤波器卷积处理视频图像序列,获得尺度空间不同的图像序列

Z(x,y,ς)=H(x,y,ς)⊗I(x,y)

(4)

式中,I(x,y)代表的是输入图像;Z(x,y,ς)代表的是尺度空间;H(x,y,ς)代表的是高斯核函数,其中,x,y代表的是像素在图像中的坐标,ς代表的是尺度因子,其表达式如下

(5)

在图像多尺度检测过程中设置如下自相关矩阵Q

(6)

设置角点响应函数T,其表达式如下

T=det[ν(x,y,ς1,ςD)]-βtrace2[ν(x,y,ς1,ςD)]

(7)

式中,β代表的是强度抑制因子,其在区间[0.04,0.06]内取值。

由局部检测结果可知,尺度容易受到角点位移的影响,因此图像中会产生较多冗余点,且冗余点之间存在相似的特征结构。

通过下述过程抑制图像中存在的背景点

1)采用高斯滤波函数处理不存在阴影的视频帧,获得对应的尺度空间Z(x,y,ς),设置梯度加权因子Δϑ,其计算公式如下

Δϑ=|cos[ϑ(x,y)-ϑ(x-w,y-h)]|

(8)

式中,ϑ(x,y)、ϑ(x-w,y-h)表示点(x,y)、(x-w,y-h)处图像对应的灰度值;w代表的是水平方向抑制范围的距离;h代表的是垂直方向抑制范围的距离。

2)筛选视频图像中的兴趣点,设Vς,β(x,y)代表的是兴趣点在视频图像中对应的响应,其表达式如下

(9)

式中,Vς(s,y)代表的是角点幅度。

建立候选点在运动目标区域检测过程中的尺度矩阵L(x,y)和响应矩阵Q(x,y),令L(x,y)=0、Q(x,y)=0。针对矩阵中存在的点,结合强度抑制因子和梯度加权因子控制其数量,在可控范围内控制兴趣点的数量变化。

3)抑制视频图像中存在的局部兴趣点,根据非极大值抑制思想设置响应矩阵Q(x,y),用矩阵Q(x,y)抑制视频图像中存在的局部兴趣点。

2.2.2 抑制时空杂点

采用尺度选择算法[12]优化视频图像中的兴趣点,抑制时空杂点。

背景点即为视频图像中的静态兴趣点,通过下述公式对其展开抑制操作

(10)

2.3 高速运动目标检测模型

采用基于深度学习的深度特征网络提取目标区域的特征[13,14],网络训练基于数据集完成,提取目标区域区分度较高的信息,数据集由不同角度拍摄的运动目标构成,可以保证深度特征网络提取运动目标不同角度的特征,基于深度学习的深度特征网络具体结构参数如表1所示。

表1 网络结构参数

结合余弦距离[15]和DeepSort算法,通过下式计算不同帧特征之间的相似度d(i,j)

(11)

采用匈牙利算法[16,17]融合目标特征信息与目标运动信息

vi,j=κd(2)(i,j)+(1-κ)d(1)(i,j)

(12)

式中,d(1)(i,j)代表的是马氏距离;d(2)(i,j)代表第j个运动目标与第i个跟踪轨迹之间存在的余弦距离;κ代表的是数据关联过程中两种信息的影响因子;vi,j代表的是融合处理后获得的信息。

采用匈牙利算法构建的高速运动目标检测模型[18,19]如下

(13)

式中,xi,j代表的是第j个跟踪框与第i个检测框的匹配结果对应的二进制数值。

3 实验与分析

为了验证基于深度学习的高速运动目标检测模型设计方法的整体有效性,需要对其展开如下测试。实验所用图像均来自The MNIST Database数据库(http:∥yann.lecun.com/exdb/mnist/),在该数据库中抽取部分运动图像用于目标检测效果验证。

1)目标检测质量

图像质量直接决定了高速运动目标检测结果的精度,采用基于深度学习的高速运动目标检测模型设计方法、文献[2]方法和文献[3]方法采集高速运动目标的图像,采集结果如图2所示。

图2 不同方法的目标检测效果对比

由图2可知,运动目标1为跑步的人,运动目标2为奔跑的豹子,运动目标3为急救车,运动目标4为高速运动的足球。采用所提方法检测图像中的高速运动目标时图像清晰度较高,可清晰地观察到图像中的运动目标,运用文献[2]方法检测时图像中存在阴影,运用文献[3]方法检测时图像中存在杂点。通过上述测试可知,所提方法的目标检测质量较高,因为所提方法对图像展开了相关预处理,首先消除了图像中存在的阴影,其次剔除了图像中存在的杂点,提高了图像的整体质量和清晰度。

2)检测精度

将AP和mAP作为指标测试所提方法、文献[2]方法和文献[3]方法的目标检测精度,上述指标的计算公式如下

(14)

(15)

式中,p代表的是精度;C代表的是目标类别数量;r代表的是召回率。

上述方法的检测精度测试结果如图3所示。

图3 不同方法的目标检测精度

由图3可知,随着图像数量的增加,三种方法的AP值和mAP值不断提升,但在相同图像数量下所提方法的AP和mAP均高于其它方法,表明所提方法具有良好的目标检测精度。

3)检测效率

在上述测试环境中,测试所提方法、文献[2]方法和文献[3]方法的检测效率,测试结果如图4所示。由图4可知,所提方法检测运动目标所需的时间最少,验证所提方法较高的目标检测效率。

图4 不同方法的检测时间

4 结束语

计算机技术在科技发展的背景下不断进步,被用于处理各种视频信息和图像信息,高速运动目标检测在计算机视觉领域中一直属于重要研究内容,目前高速运动目标检测方法存在图像目标检测质量差,目标检测精度低和检测效率低的问题。提出基于深度学习的高速运动目标检测模型设计方法,该方法首先对目标图像展开相关预处理,其次通过深度学习提取目标特征,最后构建目标检测模型,解决并改进了当前方法的不足,可将其应用于高速运动目标检测领域中。