水面运动目标跟踪监控系统的设计与实现

洪 波，刘雪芹，秦志亮*，马本俊，王 飞，刘映锋

（1. 国家海洋局温州海洋环境监测中心站，浙江 温州 325003；2. 哈尔滨工程大学水声技术重点实验室，黑龙江 哈尔滨 150001；3. 哈尔滨工程大学海洋信息获取与安全工业和信息化部重点实验室，黑龙江 哈尔滨 150001；4. 哈尔滨工程大学水声工程学院，黑龙江 哈尔滨 150001）

水面目标检测与识别一直以来是海洋周界安防领域的研究核心课题，也是水域智能安防系统的关键技术之一。随着海洋开发的不断深入，诸多海洋机构对该类系统的需求显著增强，该技术具有广阔的应用前景。然而，由于水面运动目标的跟踪容易受到海浪、天气、光照等多种因素的影响，高可靠性的系统开发具有较高的挑战性。首先，海上环境复杂多变，传感器获取的图像数据质量较差；其次，现有的目标检测与识别方法在复杂工作环境下的精确性和鲁棒性有限，难以准确实现真实水面目标的检测与识别。因此，面向对算法性能要求较高的实际应用，传统算法较难满足实际应用需求。

近年来，对于水面运动目标声学跟踪与监控系统的研究，国内外成果较少，且大多集中于水下目标的追踪算法研究、视频监控以及近些年出现的AIS（Automatic Identification System）技术，尚未形成较为成熟的监控预警系统。随着神经网络和深度学习技术的高速发展，声光综合探测是当今以及未来水面目标探测技术发展的方向之一。

本文采用水下声学远距离目标检测定位与水上光学近距离目标识别追踪相结合的方法集成开发了一套声光一体化的水面运动目标检测预警系统，在800 m的光学有效探测距离内，通过声光结合的双重探测方式，极大地降低了系统的报错率。其中，采用基于光学图像背景消减法与深度学习神经网络算法相结合的目标追踪方法对水面运动目标进行跟踪与识别，利用基于声信号数据的三元阵被动定位算法确定目标方位和距离，并将目标检测结果通过系统双工通讯网络回传至岸基系统，从而实现对水面运动目标的识别追踪与监控预警。

1 水面运动目标跟踪监控技术进展

水面运动目标跟踪检测技术主要分为基于声学信号处理的声学跟踪检测技术和基于图像数据处理的光学跟踪检测技术。传统的光学跟踪设备主要由摄影机等跟踪或监视设备和数据处理设备组成[1-2]。随着激光雷达等光学追踪设备的出现，其克服传统设备诸多缺陷的同时大大提高了获取图像的精度。基于图像采集装备的发展，图像识别和处理技术的进步可提高光学跟踪测量系统的捕获跟踪能力以及测量精度，从而更好发挥系统的综合效能。目前，图像识别追踪处理技术已经取得了长足的发展，可概括为光流法、帧间差分法和背景消减法三大方法[3-5]。光流法是传统的运动目标探测方法之一，其对检测目标的限制条件较少，但计算过程相对复杂且不具备良好的抗噪性。帧间差分法是监测相邻两帧之间图像变化最直接的方法，可通过计算阈值对序列图像中的运动区域进行检测。但其位置检测精度较低，且不适用于运动速度较大的目标。背景消减法是将当前帧图像与背景图像相减，通过差分图像中像素值计算实现运动目标的范围检测，该方法操作简单效率高，检测准确率高，但其对光线要求较高。目前，随着机器学习算法的不断发展和广泛应用，将该三种方法与机器学习相结合实现图像目标检测是目前主要的研究方向[6]。

由于电磁波在水中衰减速率较高，无法作为检测讯号来源，因此，声波探测是水面—水下目标探测领域中的主要手段，而声呐是水中目标声波探测中应用最广泛的设备。早期的水中目标检测主要依赖于信号本身属性检测，如信号的强弱、频带、相位等信息。随着高分辨率成像声呐的出现，基于声学图像的水中目标检测技术得到了长足的发展。随之，众多学者纷纷展开了基于声呐图像的目标识别与检测研究，例如基于低分辨率成像声呐数据的迭代分析进行的水下避障方法研究[7]，基于高频声呐图像的形状匹配法实现水下目标自动探测与识别的研究[8]，以及基于声呐图像的无监督目标检测算法实现目标准确定位与分类输出技术[9]。

随着神经网络和深度学习技术的高速发展，以及传统目标检测技术的不断深入发展，水中目标检测技术更加趋于智能化与自动化，声光综合探测是当今以及未来水中目标检测技术的发展方向。

2 系统总体设计

本文设计开发的水面运动目标监控预警系统主要由水下声学检测单元、水上全景光学检测单元、相控声警示单元以及终端服务系统单元四个子系统构成。旨在有效结合水上光学、水下声学目标检测技术优势，采用声—光一体化检测方案实现对平台周界可疑目标“综合监控、准确测报、主动防御”的监控警示功能。

系统集成多项硬件与软件技术，一方面能够通过水下被动声学监测系统，结合信号时频谱轮廓分析，实现对外来可疑目标声信号的实时感知，另一方面还可通过水上全景光学监控系统完成对可疑目标视像信息的采集，将水上、水下的信息检测结果相互对比，当被动声学监测系统和全景光学监控系统同时检测到目标时，系统将触发声警系统发出警报，该系统技术流程及实现框架如图1所示。

图1 水面运动目标监控预警系统工作流程（左）及系统技术框架连接设计图（右）

2.1 水面目标声学检测系统设计

水面目标声学检测系统主要功能是基于声学信号分析实现运动目标定位。该系统主要由耐压水听器、前端能源供给舱和声学电子舱3部分组成。耐压水听器为水下声矢量传感器和外置耐压护罩构成，用于周缘多维度水下声场信息采集；能源供给舱为声学检测系统供电单元，为预防水环境下设备安全隐患，将电源输入输出端加入隔离保护电路；声学电子舱是水下声学检测系统的核心单元，主要由电子系统和耐压壳体组成，并设有外部数据接口，其主要功能为水面目标信号的采集、处理、分析、存储与传输。为降低数据传输压力并提高检测信息的时效性，在声学电子舱单元设计自容式目标信号跟踪识别模块，该模块基于复杂环境下水声信号处理技术以及水下目标跟踪定位技术，实现水面目标的跟踪定位，以保证平台检测设备的安全。数据存储分析模块主要用来实现信息的存储、查询、访问及分析等功能，保证传输信息的准确性和可靠性，检测系统结构设计图如图2所示。

图2 水面目标声学检测系统结构设计图

2.2 水面目标光学检测系统设计

水面目标光学检测系统的主要功能为基于光学图像数据分析实现目标的跟踪与识别，该系统主要由视频图像处理模块、声学监控系统和云台模块构成（图3）。水面目标光学监控系统依托于水面目标声学检测系统，水面声学检测系统捕捉到可疑目标位置信息后，将该位置信息发送到工控机，工控机控制云台旋转至相应方位，进行可疑目标视频流实时监控采集。获取可疑目标信息后，由工控机通过无线传输方式将目标信息传输至岸基监控中心，实现远程监控。在实现水下声学检测系统目标检测定位的基础上，水上全景光学检测系统可配合水下声学检测系统进一步实现水面可疑目标的识别、定位与追踪，提高系统目标监控预警的稳定性与准确性。

图3 水面目标光学检测系统设计图

2.3 监控系统上位机系统设计

监控系统上位机系统包括平台端系统和服务端（即岸端中心站）系统两部分。平台端系统主要包括水下声学监测系统数据单元、水上光学监控视频图像系统单元、云台控制单元、声警示控制单元，以及服务端数据传输单元。其功能主要为链接并融合各单元数据信息，实现信息交互、信息评估、信息判断。服务端系统是集海图联动、统计查询、辅助决策为一体的辅助决策界面系统，可实时接收平台端监测系统捕获的可疑目标信息，并将平台周界可疑目标方位、距离和移动特征等实时显示在“无人值守综合观测平台安防监控系统”海图上，为平台周界可疑目标监控与警示提供支撑。此外，为实现数据后期的访问、查阅与分析功能，可疑目标信息在界面上实时展示的同时，部分信息需存储到数据库，系统采用MySQL数据库，并设计dangership数据库来存储可疑船只信息（船只的预警时间、方向、距离、预警级别、船只类型等参数），以供数据接口查询。本文在服务端与平台端之间设计双向实时通讯，接收由平台端系统发送的预警信息，并在特殊情况下，预报人员主动向平台系统发送人为干预警报信息。因此，服务端与平台端系统之间设计采用长链接（接口方式为TCP socket长链接）的通讯方式。该方式会在传递数据前，用3次握手来建立连接，以此保证双向通讯实时、高效、可靠，监控系统软件系统设计结构框架如图4所示。

图4 监控系统软件系统设计

3 运动目标信号处理与分析

3.1 声学信号处理与分析方法

3.1.1 数据预处理

信号去噪处理：信噪分离是利用信号和噪声在嵌入空间的不同分布，利用奇异值分解实现信噪分离[10-12]。为提高降噪效果，本文结合水声信号特征，采用自适应降噪与奇异值分解相结合的方法，将采集信号进行局部投影降噪处理，以达到有效精确衰减噪声的目的，本文研究对实际的舰船辐射噪声进行降噪处理，达到较明显的降噪效果（图5）。

图5 信号降噪前（上）信号降噪后（下）

信号滤波处理：在水下声学检测单元，频带范围是首要考量指标，被动检测系统工作的频带范围主要依赖于目标的被动辐射噪声频段。通过对东瓯平台（系统测试和安装平台）附近海域船只的被动辐射噪声进行采集与测量（图6），发现在渔船航行中产生的被动辐射噪声在5 Hz～6 kHz范围内具有较高能量，目标声源谱级达120 dB，背景噪声谱级达73 dB（1 kHz处），非良好水文时100 m的传播损失为40 dB。同时，环境噪声在低于1 kHz的部分较强不利于检测，因此，系统选用1～6 kHz作为被动检测系统的工作频段，并将其分为5个1 kHz带宽的频段，根据目标、环境噪声的情况和平台处理能力选取若干频段。

图6 有效频带分析

3.1.2 目标信号定位原理计算

三元阵被动定位是基于球面波或柱面波的波阵面曲率变化，测量每一个阵元之间的相对时延，达到估算目标的距离和方位的目的。该方法是在矢量水听器数量有限情况下最有效的目标定位方法[13-16]。平面三元阵模型中1、2、3三个基元形成平面等边三角形，基元1在y轴上，三个阵元的坐标为(0，2a)、坐标为(x，y)的目标到坐标原点的距离R0，基阵间的距离为（图7）。计算得出：

图7 平面三元阵信号模型（左）与定位结果（右）

则有目标方位：

如果目标距离远大于阵列尺度，则有R3+R2≈R3+R1，于是：

观测空间等分为三个扇面，对于不同的扇面，目标出现在102扇面内（红色）时：

目标出现在103扇面内（蓝色）时：

目标出现在203扇面内（黄色）时：

互相关时延：定位的关键是时延差测量，系统采用互相关时延差估计方法[17]。两个传感器接收到的信号分别经过前值滤波处理，然后进行互相关计算得到互相关函数，对互相关函数进行峰值检测得到时延估计。受计算量的限制，采样率相对于时延估计的要求较低，因此，在相关峰附近取4个样点，进行内插获得时延估计。

3.2 光学信号处理与分析方法

3.2.1 图像预处理

阈值去噪处理：本文在传统阈值去噪的基础上，选用双峰法实现阈值选取。背景和目标在每个图像直方图中形成峰值，且在峰值之间形成波谷。为了实现两个区域之间的图像分割，本文选择波谷表示的灰度值作为阈值（图8）。

图8 阈值去噪前（左）和阈值去噪后（右）

优化边缘检测处理：传统算法的边缘检测方法可将船只的边缘大致提取出来，但目标提取结果中会有部分浪花噪音存在。本文利用形态学操作结合背景消减处理，可有效去除目标船只周围的浪花噪音，使船只部分边缘联通起来，使其细节更加清楚。如图9所示，样本中的目标船只可精确提取，虽然丢失了部分细节，并不影响后续的识别过程。

图9 船只周围浪花消减结果示意图

3.2.2 图像目标识别与追踪

图像样本训练：传统的样本训练方法是对目标进行人工标注，人工标注方法误差较大，难以精确捕捉图像边缘，增大训练模型的不确定性。本文基于优化边缘检测算法实现目标的精细边缘检测和标注，提高了训练样本生成质量和效率，从而提高了深度学习模型训练的精确度和稳定性。为了提高识别的精确性，选取适量的样本参与训练，本文所用的训练样本为1150艘渔船、1150艘快艇、1150艘客船、1150艘商船、1150艘非船。测试样本为100艘渔船、100艘快艇、100艘客船、100艘商船、100艘非船（图10）[18-19]。

图10 边缘监测效果图

网络模型构建：在深度学习网络的构建上，为满足处理速度及处理精度需求，本文采用YOLOv3目标检测算法，YOLO（You Only Look Once）是目前检测精度以及实时性综合性能最好的目标检测算法。基于NVIDIA TITAN X，可实现每秒处理30帧图像的速度，mAP值高达57.9% 。目前该算法已经发展到第三代，较前两代YOLO算法在性能上有很大改善，由于算法结构清晰、实时性好，是目前工程界首选的检测算法之一。图11为YOLOv3网络结构图，网络共包含252层。输入数据为三通道的416×416的图像，输出为三种尺度的预测结果y1、y2、y3。其中DBL模块是YOLOv3的基本组件，包含卷积层(conv)、BN层、Leaky ReLU层；Res unit模块表示两个DBL模块组成的残差结构；Resn是YOLOv3的大组件，其中包含n个Res unit；concat为张量拼接，将darknet中间层和后面的某一层的上采样进行拼接，concat的操作能扩充张量的维度，而add操作只是特征层相加，操作不会导致张量维度的改变。

图11 YOLOv3网络结构图

目标识别检测：YOLOv3为端对端的深度学习网络，整张图片直接输入到网络，输出端可直接获得目标所在位置边框及所属类别的概率。YOLO网络采用一步式的检测方法，使用统一网格，在网络中实现特征提取、Bbox的定位及分类。YOLO改进了Faster R-CNN将错误背景作为特别区域的弊端，然而小目标像素小，经过最后一层卷积后输出层特征较难识别，导致YOLO网络对小目标的定位精度不高，检测准确性也不尽人意。为弥补YOLO检测细粒度特征的不足，YOLOv3网络采用FPN方法，将图片经过第K次卷积操作后得到的特征图复制1份，第1份特征图用于进行第M次卷积操作，得到第1个输出层，用来检测大物体。将第1份特征图进行M次卷积操作得到的特征图进行采样操作后，与复制的第2份特征图合并为另一组特征图，再进行N次卷积操作后，得到第2个输出层，用来检测中等大小物体。最后将第2份特征图进行M次卷积操作得到的特征图进行采样操作，相继与复制的第3份特征图合并为第3组特征图，进行L次卷积操作后，得到第3个输出层用来检测小物体。由于YOLOv3采用了3个不同尺度的特征图来进行物体检测，能够得到3种不同感受视野的特征图，可以实现对大尺寸、中尺寸、小尺寸物体的识别[20]。

3.3 运动目标特征提取与对比

根据任务需求，对YOLOv3网络进行迁移学习，模型能够识别渔船、快艇、客船、货船4类船只。训练样本主要通过以下3种途径获取：海边实摄、网络搜集、各种公开图片数据集抽取。收集、整合后的样本通过Labelimg软件进行人工标注，生成的xml文件包含了物体的位置坐标以及类别等信息。模型训练是将YOLOv3训练好的模型前249层网络参数进行锁定，根据本项目需求训练后3层网络参数，达到船只的识别目的，如图12所示可以同时识别多个不同类别的目标。

图12 基于光学信号YOLOv3网络处理分析的运动目标提取结果

对比Hu矩与YOLOv3网络的识别率，选取7维Hu矩，训练样本为100艘渔船、100艘快艇、100艘货船、100艘非船。测试样本从10张逐渐增加到50张，测试Hu矩与YOLOv3网络的时效性以及识别精度，发现YOLOv3网络平均识别率以及时效性远远高于Hu矩（表1）。

表1 运行时间对比

4 系统测试与运行分析

为保证水面运动目标跟踪系统设计与开发的质量与可靠性，在系统研发过程中进行了两次系统性能测试，分别为前期工作中声学检测单元的室内实验室水池测试和实际海洋环境条件下的系统全面测试。

4.1 实验室水池测试实验

本文在哈尔滨工程大学声学实验室的信道水池和消声水池进行测试，分别从声学检测单元的软件与硬件两方面对系统性能的稳定性进行了测试（图13）。其中硬件方面主要测试声学传感器的灵敏性；软件方面主要测试系统采用的三元阵被动定位算法的稳定性和鲁棒性（表2）。根据测试结果分析，由于信道水池的边缘反射效应，水听器背向声未屏蔽，无法正常通过测试，换至消声水池，背向声屏蔽问题解决，测试通过。此外，对光学检测单元、声警示单元也进行了相应的系统测试，测试效果良好（表3和表4）。

表3 光学系统测试

表4 声警示系统测试

图13 声学实验室水池测试情况

表2 声学监测系统测试

4.2 青岛积米崖海试

除室内稳定性测试之外，本文还在青岛市西海岸新区积米崖海域进行测试，从软件、硬件两方面分别对系统性能的实用性进行了整体测试。测试利用渔船作为系统载体，往来渔船作为测试船只，将系统船只锚定在航道附近，共进行3次系统测试。其中软件测试部分进行了3个模块测试，分别为数据接收解析入库测试、数据接口测试和数据展示功能测试。如图14所示为平台安装和测试现场，测试结果如表5所示。硬件测试分别是对水听器、水下系统、通讯、云台控制、目标识别、声警控制、系统等的功能指标进行测试，测试结果如表6 所示。

图14 近海测试现场情况

表5 系统软件测试结果

表6 硬件功能测试

系统软件测试结果表明，该软件数据接收解析入库测试和数据接口测试在分别进行的1000次测试实验中均完全通过，由于网络延迟的原因，尽管数据展示功能测试通过率为95.8%，仍然满足系统测试通过要求；在硬件测试方面，水听器、水下系统、通讯测试、云台控制、目标识别、声警控制等相关功能指标均测试通过，较好地完成了系统相关功能。

4.2.1 系统固定安装

根据各系统单元的功能和特点，充分考虑离岸可疑目标监控的复杂性，采用分布式安装、集中存储、统一控制的总体架构。为有效避障，并扩大监控警示视野范围，相控声警示单元、水上光学检测系统单元安装于平台桩基（图15）。声学检测系统单元安装分为干端安装与湿端安装两部分（图16和图17），声学处理单元机箱置于底座内并焊接于楼梯栏杆上，上端利用抱箍与栏杆耦合固定；水听器阵列置于水下，为防止来自海流、海浪等巨大冲击力对水听器的破坏，系统将水听器组件刚性连接于水听器支架上，并将水听器支架通过卡箍方式连接于钢桩基上（图18）。为避免钢桩对水声信号遮挡导致的信号检测盲区及信息误判，即通过声学实现目标定位需要两个水听器直接接收到目标信号，因此需要保证从各个方向传来的目标信号能够直接被至少两个水听器接收到，所以将3个矢量水听器分别相间安装于3根钢柱外侧，以保障实现平台周缘各方向的声学信号零盲区检测。水听器线缆加装保护套后连接于处理单元，处理单元与水听器连线采用水密连接，单元的供电及通信线缆延伸至上层主机室内。

图15 平台桩基干端安装

图16 水声传感器安装（左）和水声处理单元机箱安装（右）

图17 水下桩基声学采集系统单元安装

图18 卡箍结构

4.2.2 测试结果分析

声学检测系统单元方面，在实验室水池较为安静的水环境条件下，由于水中噪声较少，矢量水听器对目标声信号的识别度较高，且能较精确地判断目标位置。在实际复杂海洋环境中，由于海水周围声源较多，噪声信号繁杂，水下声学信号检测的精度稍有降低，但依然能达到较高的精确度；光学检测系统单元方面，测试证明基于深度学习的神经网络目标识别结果与实际目标保持一致，且与声学检测系统单元的检测结果能够相互验证。无论是硬件单元还是软件单元，系统都保持了较高的稳定性和较好的测试效果，据测试结果分析可知，该系统研发方案可靠、可行、可信，具有良好的应用市场与应用前景。

5 结 论

本文研发的水面运动目标跟踪监控预警系统，实现了海洋综合检测平台周边范围内水面运动目标追踪监控，完成了声光一体化检测技术优势融合，有效结合声学目标定位优势与光学识别追踪优势，实现对水面可疑目标进行综合监控、准确测报、主动防御的监控警示功能，成功对平台周界800 m范围海域进行全天候全景监控，并且建立了针对恶意靠近与停留的商船、渔船、快艇等可疑目标的分级分类方法，设计了相应的预警启动与警示级别，在目标确认后，启动相应的示警信号，实现实时接收、处理前端检测系统获取的可疑目标信息的目的。最后，本文设计了一套基于YOLOv3深度学习的海上船只实时检测算法，实现了海上船只目标的高精度快速识别定位。该套跟踪监控系统极大地降低了平台自身的安全隐患，并且在实际应用中取得了良好的实用效果，为海上可疑目标的实时监控与预警提供了一定的技术支持。