雷达引导的视频联动监控模型及算法

屈立成，高芬芬，柏 超，李萌萌，赵 明

(1.长安大学 信息工程学院，西安 710064; 2.西安交通大学 软件学院，西安 710049)(*通信作者电子邮箱2415830781@qq.com)

0 引言

目标的准确定位与选择是视频监控的核心环节，在边境安防、海防和国防等监控领域有着广阔的应用价值和发展前景，尽管目前取得了很多成就，但在实际应用环境中，还存在着诸多挑战，如监控范围较小、监视盲区较多、远距离监控受限、目标定位困难等问题[1]。采用雷达与视频监控系统结合的智能化目标定位与选择方法，可以有效优化监控站点的分布，减少视频监控设备的数量，不受摄像机可见区域限制，极大地推动安防领域智能化进程。

为了解决光学能见度差与目标定位不准确问题，文献[2]提出了一种雷达视频监控系统，该系统可实现大范围目标检测，但当目标进入监控区域时，需要操作人员在雷达终端上通过手动点击的方式来调度摄像机指向监控目标，智能化程度较低，实时性较差。文献[3]中提出一种导航雷达跟踪参数或自动识别系统(Automatic Identification System, AIS)输出数据包引导的视频监控系统，由雷达测得目标信息后，自动引导摄像机追踪目标。系统使用视频采集卡将视频码流采集到云台监控工作站，并采用云台控制协议，在低噪声和传感器反馈毛刺不明显的情况下，准确跟踪到监控目标。在多摄像机领域，文献[4]提出了一种基于雷达的视频联动监控算法，将雷达探测到的目标位置数据传送到控制中心，由控制中心调动位置最佳的摄像机，实现目标定位与跟踪。然而，算法实现时未考虑摄像机与雷达在安装时的高度误差以及水平角度误差，在目标定位的精确程度方面存在一定的不足。文献[5]提出了基于雷达定位的视频联动系统，该系统实现目标定位时需服务器对目标的真实坐标与虚拟场景坐标进行标定，这种标定过程比较复杂，计算量较大，对硬件的工艺要求较高，在应用方面具有一定的局限性。文献[6]针对目标的有效性选择问题，提出一种摄像机与多普勒雷达、传感器相结合的装置，该装置主要应用在交通监控系统中，但由于连续波多普勒雷达速度测量系统缺乏区分多个目标的能力，大多数系统只能识别最强的(最接近的)目标或最快的目标。

综合了雷达系统监测距离远、监控范围广，不受雨、雪、雾、浮尘、扬沙等特殊天气因素影响的特点，本文提出一种雷达引导的视频联动监控模型，在此基础上研究雷达与摄像机坐标系之间的映射关系，并由此得出运动目标在摄像机坐标系的具体方位，以引导摄像机准确锁定并监控目标。与现有的视频监控系统相对比，雷达引导的视频联动监控系统结合网络通信技术、多线程技术、计算机图像处理等技术，使视频监控系统朝着高清化、网络化、流畅化、智能化方向发展[7]，实现全天候、全天时、全方位的有效监控[8-9]。

1 系统结构设计

雷达引导的视频联动监控系统利用雷达控制系统接收的反射电磁波，分析处理反射目标的距离、速度、回波功率等数据信息，并将这些信息实时传送到控制中心。控制中心的服务器根据目标定位算法驱动摄像机迅速定位可疑目标，当监控区域存在多个可疑目标时，能够根据多目标选择算法自动选择出优先级最高的目标进行监控。

本文系统包含前端设备、控制子系统和显示子系统三部分，如图1所示。前端设备由一个或多个雷达与智能摄像机组成，控制子系统和显示子系统分别由控制服务器、浏览服务器和视频显示终端组成[10]。控制服务器接收雷达采集到的实时数据并解析数据，计算出目标相对于摄像机的方位角和俯仰角[8]，再通过网络通道将解析后的控制数据传送给摄像机，从而控制其对目标进行精确定位。同时将摄像机拍摄到的视频画面上传到浏览服务器，操作人员可在视频显示终端上查看实时监控视频或者录像资料。

图1 系统结构Fig. 1 System architecture

系统结合雷达远距离探测的特性，实现了广域范围的超远距离监控，并根据目标运动的速度及其与摄像机之间的距离自动调节摄像机旋转角度与焦距。系统设计中，雷达向控制服务器发送数据时使用多线程技术，保证多个客户端与服务器的实时连接。通信过程采用传输控制协议(Transmission Control Protocol, TCP)，保障数据可靠传输。摄像机控制过程采用开放型网络视频接口(Open Network Video Interface Forum, ONVIF)协议，可兼容所有标准视频监控设备。浏览服务器获取监控视频流时采用实时流传输协议(Real Time Streaming Protocol, RTSP)，并在需要时将其转发至视频显示终端。

2 目标定位算法

2.1 标准安装条件下的目标定位算法

在标准安装条件下雷达与视频监控系统联动模型如图2所示。其中，雷达坐标系为直角坐标系，智能摄像机的坐标系为球坐标系。在雷达坐标系o′uv中，目标坐标通常用(u，v)表示，其中，u为目标在雷达的水平方向距离(以雷达为中心点，左侧值为负，右侧值为正)，v为目标在雷达的垂直方向距离(v≥0)，u、v可由雷达测得。以安装支柱与地面的交点为原点o建立空间直角坐标系oxyz。其中，u轴与y轴平行，v轴与x轴及z轴在一个平面内。通过(u，v)可知目标在雷达坐标系中的实际位置，结合智能摄像机的球型坐标系，可以采用目标定位算法求出目标对应于摄像机的方位角和俯仰角，将目标在雷达坐标系中的坐标转换到摄像机坐标系中，从而达到驱动摄像机快速定位监控目标的目的。

图2 系统模型Fig. 2 System model

在实际应用时，可以预先测量出摄像机距离地面的高度h和雷达与摄像机之间的垂直距离h′。目标在点P(u，v)对应摄像机的方位角与其对应雷达的方位角均为θ(0°≤θ≤360°，θ未知)，对应摄像机的俯仰角与雷达俯仰角分别为λ和φ(0°≤λ≤90°，0°≤φ≤90°，λ与φ均未知)，当λ和φ为零时，雷达平面与摄像机正切平面的法线均平行于水平面。若要控制摄像机锁定目标，需求出目标对应摄像机的俯仰角λ和方位角θ。首先，需计算出目标P(u，v)与雷达的距离d′：

(1)

已知雷达安装时高度为h+h′，可以求出目标P(u，v)到原点o的距离r：

(2)

目标在点P(u，v)时，摄像机的俯仰角为λ：

(3)

目标对应雷达与摄像机的方位角都为θ：

(4)

在图2中，若目标以一定的速度在时间t内运动到点P1(u1，v1)，则运动后其对应摄像机的俯仰角λ1与方位角θ1由式(3)～(4)可知。图2中d1与d1′分别表示目标在点P1时与摄像机和雷达的距离。

目标运动后，摄像机的方位角变化Δθ1，如图3所示，目标初始位置在点P(u，v)对应摄像机的方位角为θ，运动到点P1(u1，v1)对应摄像机的方位角为θ1，则Δθ1为：

Δθ1=(θ1-θ)×180°/π

(5)

当Δθ1>0°时，摄像机在水平方向上顺时针旋转；Δθ1=0°时，摄像机在水平方向静止不动；Δθ1<0°时，摄像机在水平方向上逆时针旋转。

图3 摄像机方位角变化Fig. 3 Changing of camera azimuth

在垂直平面，以安装支柱与地面的交点为原点o，建立直角坐标系oij，如图4所示。其中，i轴表示摄像机水平初始的任意一个方向，j轴表示固定摄像机与雷达的安装支柱，点Q表示摄像机的安装位置。在oij坐标系中，目标初始位置在点P(u，v)，对应摄像机俯仰角为λ。

若目标在一定时间内运动到点P1(u1，v1)，对应摄像机俯仰角变为λ1，则摄像机在垂直方向需旋转的角度为Δλ1：

Δλ1=(λ1-λ)×180°/π

(6)

当Δλ1>0°时，摄像机靠近j轴；当Δλ1=0°时，摄像机在垂直方向静止不动；Δλ1<0°时，摄像机远离j轴。

图4 摄像机俯仰角变化Fig. 4 Changing of camera pitch angle

2.2 存在安装夹角的目标定位算法

目标定位算法适用于雷达平面的法线与智能摄像机正切平面的法线指向的水平方向相同，并且智能摄像机正切平面的法线平行于地面。然而，在实际操作中，雷达平面法线与摄像机正切平面法线在水平方向会存在一定夹角Δα，摄像机正切平面的法线与地面也会有一定的夹角Δβ。为了减小摄像机旋转时的误差，提出改进后的目标定位算法。

2.2.1 法线之间存在水平夹角

如图5所示，从水平方向上看，雷达坐标系为o′uv，摄像机坐标系为o′xy。若雷达平面的法线与摄像机正切平面法线的初始方向均指向真北，但两者与真北均存在一定的夹角，可通过测量仪器知道雷达与真北方向之间的夹角αr，智能摄像机与真北方向夹角αc。目标初始位置在点P(u，v)对应雷达的方位角θ由式(4)可知。由αr、αc求出雷达与摄像机夹角为Δα：

Δα=αc-αr

(7)

当雷达坐标系的v轴最靠近真北时(图5(a))，摄像机从初始位置到点P需旋转θr：

θr=(θ-|Δα|)×180°/π

(8)

同理可知，当摄像机坐标系的y轴最靠近真北时(图5(b))，摄像机从初始位置到点P需旋转θc：

θc=(θ+|Δα|)×180°/π

(9)

当θr>0°或θc>0°时，雷达控制摄像机在水平方向顺时针旋转；θr=0°或θc=0°时，摄像机在水平方向静止不动；θr<0°或θc<0°时，雷达控制摄像机在水平方向逆时针旋转。目标运动到点Pi(ui，vi)时对应的雷达方位角为θi，由式(5)可知摄像机从点P运动到点Pi方位角变化Δθi。

图 5 雷达与摄像机存在水平夹角Fig. 5 Horizontal angle between radar and camera

2.2.2 摄像机法线与地面存在夹角

如图6所示，在oij坐标系中，若智能摄像机初始安装位置与地面存在夹角Δβ(Δβ≠0°)，在这种情况下，采用目标定位算法求得的摄像机俯仰角会有一定的误差。本节在目标定位算法的基础上，对摄像机俯仰角的计算方法提出改进。当目标首次出现在点P(u，v)时，由式(3)可知摄像机俯仰角为λ。目标运动到点Pi对应摄像机的俯仰角为λi，则摄像机从初始位置到目标P需旋转λc：

λc=λ-Δβ

(10)

若λc>0°，摄像机靠近j轴；λc=0°，摄像机在垂直方向静止不动；λc<0°，则摄像机远离j轴。当目标距离原点o的位移发生变化时，目标对应摄像机的俯仰角变化Δλi由式(6)可知。

图 6 摄像机法线与地面不平行Fig. 6 Camera normal not parallel to ground

3 多目标选择算法

在雷达引导的视频联动监控模型中，雷达可检测到多个目标，摄像机数量却相当有限，当雷达监测区域出现多个目标时，摄像机无法正确地选择出合理的监测目标。针对上述问题，本章提出多目标选择算法。雷达获取到多个目标Pi(i={2，3，…，15})的监测信息后发送给控制服务器，服务器分析和比较雷达发送来的目标信息，计算并选择出最可疑的一个或者多个目标，根据选中目标的方位角和俯仰角生成支持标准的全方位移动及镜头变倍、变焦(Pan/Tilt/Zoom, PTZ)控制的摄像机命令，并将其通过ONVIF协议发送到摄像机，引导摄像机锁定和追踪目标。

多目标选择算法综合考虑了目标的离散程度、径向速度及其与摄像机之间的距离，根据这三个主要因素综合评估摄像机要追踪的重点目标。目标的离散程度可通过目标与摄像机的距离离均差来计算，径向速度为目标靠近警戒区域的位移与时间之比，其中，目标与摄像机的距离可通过坐标间接求出。图2中，将雷达坐标系o′uv转换到空间直角坐标系oxyz，则雷达监测区域中运动目标P(u，v)的坐标对应空间直角坐标系的坐标为P(x，y，z)。由于目标在水平面运动，所以z等于0。雷达坐标系中的u轴与空间直角坐标系的y轴平行，v轴与x轴和z轴在同一个平面内，摄像机的安装高度已知为h，雷达安装高度为h+h′，目标i与原点o的实际距离ri由式(2)可知，则目标Pi与摄像机的距离di计算方法如式(11):

(11)

其中，di越小，则目标越靠近摄像机，优先级越高。再根据目标与摄像机之间的距离离均差求出其离散度，离均差si由式(12)可知：

si=|di-μ|

(12)

其中μ表示目标到摄像机的平均距离，由式(13)可知 ：

(13)

其中，N为雷达检测到的目标数量。式(12)求得的离均差越大，表示目标越分散；离均差越小，表示目标所处位置越集中，则优先级越高。

如图7所示，在平面直角坐标系oxy中，雷达监测区域出现多个目标，目标以速度vp向某方向运动，其靠近警戒范围的径向速度为vr计算式如下：

vr=Δy/Δt

(14)

其中：Δy(Δy=Δu)表示目标运动前后在y轴方向的位移差；Δt表示目标运动前后的时间差；vr越大表示目标靠近警戒区域的速度越大，则优先级越高。

图7 多目标示意图Fig. 7 Schematic diagram of multiple targets

由式(11)～(12)、(14)求出目标与摄像机之间的距离、离散度、径向速度，并使用冒泡排序法按照优先级高低分别对其从大到小排序，将排序结果m、n、p分别与其对应影响因素的权重相乘并求和[11]，得出权函数值Wi：

Wi=α·m+β·n+γ·p

(15)

其中，α、β、γ表示各个影响因子的权重系数，且α+β+γ=1。对式(15)中求出的Wi进行排序，求出权函数值最大的目标Pi，并控制摄像机对其进行实时定位与追踪。

4 实验结果与分析

4.1 实验环境

本文在Qt开发环境下，使用笔记本电脑(Windows 7,64位操作系统，CPU 1.9 GHz，处理器A8-4500M，内存4.00 GB)编程，采用海康智能摄像机和FD4-80C-J60雷达进行实验。其中，雷达辐射的距离量程可达6 km，辐射角量程为72.5°；智能摄像机水平旋转角量程为360°，垂直旋转角量程为90°；摄像机与雷达的安装高度分别为2 m和2.3 m。

系统的软件实现界面如图8所示(图8～12中的小轿车1和小轿车2均处于静止状态)，图中左侧为雷达的监控界面，扇形区域为雷达的监测范围，右侧为摄像机视频画面，当目标出现在雷达监测区域时，摄像机会指向该目标，实现联动监控。实验中，选取校园某时刻路面行人、车辆较少时进行测量，将目标所受外界环境干扰因素降到最低，研究目标分别为行人和自行车，目标所受的干扰因素如表1所示，实验中不同研究目标所受的干扰因素[12-14]如表2所示。

图8 系统软件界面Fig. 8 Software interface of system表1 干扰因素含义Tab. 1 Meanings of interference factors

简称全称含义SVScale Variation目标尺度有明显变化OCCOcclusion目标被部分或全部遮挡FMFast Motion目标存在快速运动情况IPRIn-Plane Rotaion目标在图像上存在旋转OPROut-of-Plane Rotation目标在图像外有旋转OVOut-of-View目标离开摄像机视野BCBackground Clutters存在与目标相似的物体

表2 测试所用视频序列及其包含的干扰因素Tab. 2 Experimental video sequences and their interference factors

4.2 目标中心误差评价方法

本文采用目标中心误差评价方法验证目标定位算法的有效性。首先，设定目标的标准边界框sn和定位边界框sl。其中，sn在视频显示器的中心，sl表示摄像机定位目标的实际边界框。sn和sl的中心距离差表示误差E。E值越小，则目标被实时定位的准确率越高。实验中，首先给定误差阈值T，若E

(16)

其中，wn和hn为人工指定目标的标准边界框的宽与高。误差E可由式(17)求得：

E=

(17)

其中:hm与vm表示目标定位边界框sl到视频显示界面的水平边界与垂直边界的最短距离;ln与bn分别表示目标标准边界框sn到视频显示界面左侧与底部的距离;wl和hl为目标定位边界框的宽与高。

4.3 结果分析

4.3.1 目标定位的实验分析

实验中的测试对象主要为行人和自行车，选取表2中的Person1和Bicycle视频序列。表3为实验测得的两组数据，每组实验选取的目标位置均在雷达中心的左侧、中心及右侧。表3中，u表示目标在水平方向与雷达中心位置的距离，v表示目标在垂直方向与雷达的距离，θ与λ为算法求得的目标对于智能摄像机的方位角和俯仰角，根据方位角和俯仰角控制其准确、快速地定位目标。

表3 对Person1和Bicycle视频序列的测试结果Tab. 3 Test results of video sequences Person1 and Bicycle

在Person1视频序列中，当目标在雷达的第546、581、615帧时，显示终端的视频图像如图9所示。序列中的主要干扰因素为部分或全部遮挡，在雷达的第546帧时将行人作为跟踪目标，由雷达反射回的信息得知，行人以1.2 m/s的速度匀速行驶。在第581帧时，目标与摄像机之间被停在路边的车辆部分遮挡，当目标从车辆后穿过时，摄像机迅速捕获目标。智能摄像机拍摄的视频画面传送到显示终端时，根据式(16)中阈值T的设定方法及式(17)的误差分析方法得出：摄像机正中心与目标位置能准确匹配，平均准确率为0.94。

在雷达的第1 618、1 633、1 653帧时，Bicycle 视频序列对应的图像如图10所示。序列中的主要干扰因素为快速运动。由于自行车运动速度较大(平均以4.9 m/s的速度行驶)，采用目标中心误差评价方法定位时误差相对行人较大，平均准确率为0.84。

图9 对Peron1视频序列的定位结果Fig. 9 Positioning results of video sequence Person1

图10 对Bicycle 视频序列的定位结果Fig. 10 Positioning results of video sequence Bicycle

4.3.2 目标定位算法与OT4算法对比实验

实验选取表2中的Person2视频序列，将本文的目标定位算法与文献[4]算法进行对比，为了便于描述，简称文献[4]算法为OT4(Object Tracking 4)算法。在雷达的第757、790、812帧时，目标定位算法与OT4算法的实验结果如图11所示,图中，Fr表示目标在视频画面的中心位置，Fm表示本文算法对目标定位的结果，Fo表示OT4算法对目标定位的结果。从图11中可以看出，在综合考虑雷达与摄像机存在安装高度误差及水平角度误差的前提情况下，本文算法对目标进行定位时最接近视频显示画面的中心，相对于OT4算法的准确率更高。

图11 对Person2视频序列的实验结果对比Fig. 11 Experimental result comparison of video sequence Person2

4.3.3 多目标选择的实验分析

在验证多目标选择算法的可靠性时，选取道路上行人和车辆较多的时间段进行测试，并在选取的道路路面上设置警戒区域，根据多目标选择算法，实验中将权重系数α、β、γ分为设为0.2、0.3、0.5，计算结果如表4所示。

表4 对Multi-obj视频序列的目标选择结果Tab. 4 Target selection results of video sequence Multi-obj

在雷达的第1 211、1 226、1 242帧时，Multi-obj视频序列对应的图像如图12所示。在雷达监测范围的第1 211帧中有两个运动目标：自行车和行人，两者均向图12(c)的警戒区域靠近。从表4可知,此时自行车的权函数值最大，所以智能摄像机会锁定自行车为定位目标，并对其追踪。在后续帧中，雷达检测到三个目标的数据信息，此时Multi-obj视频序列对应有三个运动目标，如图12(b)所示。比较得出自行车的权函数值最大，智能摄像机仍然会追踪自行车。在1 242帧雷达监测区域仅有一个目标，系统根据目标定位算法直接锁定目标并对其追踪，无需使用多目标选择算法。

基于上述实验与分析得出：多目标选择算法能在最短时间内选中最佳跟踪目标，实现对最关注目标的实时监测，大大优化了监控站点的分布，减少了视频监控设备数量。

图12 对Multi-obj视频序列的定位结果Fig. 12 Positioning results of video sequence Multi-obj

5 结语

本文在建立雷达引导的视频联动监控模型的基础上，提出目标定位算法和多目标选择算法，实现了目标的准确定位和有效筛选。实验结果表明，本文算法在目标定位的准确性和多目标选择的有效性方面均能达到很好的效果。雷达引导的视频联动监控系统结合雷达探测距离远、不受天气因素影响的工作特性，引导摄像机快速精确地聚焦监控目标，可广泛应用于边境、油田、海岸等地理位置复杂、分布范围较广的无人值守区域的重点监控，解决了视频监控系统监控范围小、监视盲区多、目标发现困难等问题，实现了全天候、全天时、全方位、远距离的视频安防监控，大大优化了监控站点的位置分布，精减监控设备的数量。随着人工智能、大数据、人脸识别等新技术的不断出现，雷达引导的视频联动监控系统会有更好的发展前景，也会更加广泛地应用到视频安防监控领域。