基于图像的无人机战场态势感知技术综述

蒋 超，崔玉伟，王 辉

(航空工业西安飞行自动控制研究所，陕西 西安 710065)

与传统的战争相比，现代化的战争节奏进程明显加快，战场形势和态势瞬息万变，机会稍纵即逝。如何有效利用现代的信息化技术水平和当前相关侦察设备性能提升的特征优势，对整个战场区域信息进行快速准确且完整的获取，进而分析出战场区域的整体作战态势，最终为指挥决策者提供强有力的信息支撑，是整个战争取得最终胜利的关键保障和重要支撑。

在战场侦察领域中，视频图像与文字、电报信息相比，更为直观、实用，是目前有效的侦察手段之一。因此基于视频图像的战场态势感知技术能够为指挥决策者提供相对丰富和比较形象的战场整体情况的数据。与此同时，对侦察设备而言，由于目前无人机具备灵活、容易控制、成本低，没有人员伤亡的突出特点和优势，因此无人机目前是现代战场环境下获取侦察信息十分有效的侦察装备之一。因此，本文在参考视频图像态势感知相关论述的基础上，结合目前现有的技术，针对基于图像的无人机态势感知相关技术进行讨论，为后续无人机相关态势感知技术的实现提供相应的参考。

1 战场态势感知基本概念

战场态势本质上是一种对战场状态和战场发展趋势的描述。研究学者梁浩哲[1]在其论文中定义战场态势为在一定的战场空间内，各个类别的军事单位(包括常规的作战单元、后勤补给单元以及自然环境中各个要素)的状态情况，具体包含“态”和“势”两层典型含义。其中“态”这一层面，主要强调当前战场的状态，是对被观察目标当前位置、运动参数、具体身份、所属类型等参数特性的描述；而“势”这一层面，主要强调的是事物发展的相关趋势，是对被观测目标所隐含的作战意图、被观测目标作战能力、与周边环境结合后的相互关系以及对我方目标所构成的威胁等的描述。西北工业大学的肖圣龙等[2]从战略层面和战术层面上分别对态势感知进行了有针对性的区分，将态势感知定义为作战双方的作战要素的状态、形势与发展趋势，在战略层面上，具体包括敌对双方总体力量的对比、战略部署与战略行动的状态、形势和趋势，同时包括敌对双方社会人文环境等；在战术层面上，具体是指敌对双方具体的兵力对比、兵力部署、作战计划、火力分配、作战意图和具体的作战实体(如作战平台，武器级具体武器目标的状态、形势和发展趋势)。

战场态势感知顾名思义就是一个通过感知获取战场态势的过程，高杨等[3]定义战场感知为所有参战部队和支援保障部队对战场空间内敌、我、友各个方面的兵力部署、武器装备和战场环境等信息的实时掌握的过程。态势感知理论最早由Endsley等提出，后于1995年改进为一个通用态势感知三层模型，三层分别为觉察、理解和预测，如图1所示[4]。

图1 Endsley 1995年提出的三层感知模型

在图1中，我方系统首先针对任务特点进行信息反馈，我方的决策系统收到反馈信号后进行三级态势感知，先是态势觉察，其次是对态势的理解，最后在态势理解的基础上进行态势预测，这为后续的决策和行动实施环节做了充分的信息准备和环境态势调研。与此同时，我方对战场态势信息进行相应的分析和存储，形成我方的数据库和知识库，从而不断提高我方的态势感知的能力。

Henriques等[4]进一步总结Endsley提出的态势感知模型，将Endsley模型中的心智模型修改为人工智能模型，使之更加符合现代研究要求，改进的模型如图2所示。

图2 改进的态势感知模型

在图2中，在收到系统反馈信息的处理方面，不再是传统的流程化的单一处理模式，而是在态势感知、态势理解、态势预测方面每一步都有反馈和交互，与前期建立知识库不同，这时知识库已经基本完备，形成了知识规则，同时引入人工智能专家经验进行整个流程的监控与识别，在完成了整个战场的态势感知后，进入决策层，在决策完成后进行相应的行动实施，同时实施完成后进行战场信息反馈，整个过程是一个闭环的过程。

国内外研究学者对战场态势感知的理解虽有所差异，但大多都是基于信息层面和应用层面的差异。而态势感知技术实现的基本过程与Endsley等提出的模型类似，均可归纳为觉察、理解和预测3个阶段。3个阶段层层递进，态势觉察是态势理解的基础，而两者又共为态势预测的基础。下面针对态势感知技术的3个阶段，对基于图像的无人机态势感知技术展开介绍。

2 战场态势觉察

战场态势觉察就是利用侦察设施装备，对战场信息进行提取，主要包括图像的优化处理技术、目标跟踪检测识别技术、目标定位技术等。

2.1 图像的优化处理技术

通常，图像的高效处理和图像的高效分析问题最终都可以归结成一个最优化问题,优化理论成为解决图像技术问题的有力工具。目前优化理论应用范围涉及了图像的重构、恢复、增强、边缘检测、配准、分割和编码等方面。

图像优化技术[5]也是战场态势觉察的基础，是提升态势感知系统鲁棒性、准确性的关键步骤。笔者理解的图像优化技术主要包括图像的去噪处理技术、图像的增强处理技术、图像的复原处理技术、图像的融合处理技术、图像的超分辨率重建技术等，也包括图像拼接、三维重建等地理测绘基础图像处理技术。

近年来计算机技术迅猛发展，与数学的结合也日益紧密，极大地促进了数字图像处理技术的发展。由于图像处理的任务存在差异,相应的处理程序和模型也有差异,并且没有统一的评价标准对图像优化进行评价，需要设定优化的目标，为此有必要利用现有较为成熟的多目标优化技术理论来对图像进行处理。Liu等[6]首先指出了当前图像处理优化技术的研究中所存在的问题；接着建立了图像的多目标处理优化的系统模型及相应的流程；最后完成了数学模型建立、优化目标建立等全流程仿真设计实现。

图像融合也是图像优化的一个重要的技术分支体系，图像融合技术是指将用于同一场景的多个描述图像优化合成为一幅新的图像。通过对图像进行融合能够获取更多更高层次的相关信息，同时能够实现相对完整和准确的场景描述。目前来看，在机器视觉、目标识别、医疗诊断和遥感遥测等多个相关技术领域，图像融合都有广泛的应用。

图像优化技术经过多年的发展，已经颇为成熟，如何利用成熟的图像优化技术加以改进，使之能够在战场无人机侦察图像上表现更优，突破算法复杂度带来的实时性下降的问题仍是研究工作的重点。

2.2 目标跟踪检测识别技术

2.2.1 目标跟踪技术

随着信息技术、传感器技术和图像处理技术的发展,目标跟踪[7]已成为了一个热门的研究方向。

目前，目标跟踪技术的研究主要集中在两个方向，即以CSK、KCF算法[6]为代表的基于相关滤波的目标跟踪技术和以SiamFC算法[8]为代表的基于深度学习的目标跟踪技术。基于相关滤波的目标跟踪技术速度快，依赖硬件资源少，是当下工程应用的研究热点。而基于深度学习的目标跟踪技术虽然跟踪准确性高、鲁棒性强，但是处理速度很难达到实时，战场应用局限性较大。由于拍摄条件限制，无人机侦察图像目标跟踪应用的主要难点为目标特征不明显、画面不清晰、背景抖动明显、实时性要求高等。

通常来说目标的跟踪主要分为特征提取和目标跟踪算法这两个部分。

主要目标特征的提取主要有以下3种。

① 以目标区域的颜色为主要支撑点，利用目标的颜色旋转不变性，即在颜色空间中分布大致相同的特性，通过目标区域的颜色直方图来描述目标的主要特征，实现对目标典型特征的提取。

② 以目标区域的轮廓为主要支撑点，利用速度较快的算法，针对目标小部分遮挡的情况进行目标典型特征的提取与识别。

③ 以目标区域的纹理特征为主要支撑点，以目标纹理特征进行改善，对目标区域的典型特征进行提取，进而改善目标的轮廓特征跟踪效果。

目标的典型跟踪算法[9]通常有以下4种。

① 目标均值漂移算法，即MeanShift算法。该目标跟踪方法具有迭代次数少的优势，它仅需较少的迭代次数就能够快速找到与目标最相似的位置。它的主要缺点是不能解决和处理目标的遮挡问题，也无法适应和处理运动目标的形状和大小变化。因此有人对它进行了改进，提出了CamShift算法，该方法基本能够适应运动目标的大小和形状变化，具有较好的跟踪效果，但是在背景色和目标颜色接近的情况下，容易出现目标区域变大的情况，最终有可能导致目标跟踪丢失。

② 基于Kalman滤波的目标跟踪方法。该目标跟踪方法主要基于高斯模型理论，认为物体的运动模型符合高斯模型理论，利用高斯模型理论来对目标的运动状态进行预测，同时与观察模型进行对比分析，根据其与观测模型的误差来更新目标的运动状态信息，但是该目标跟踪方法的精度有待进一步提高。

③ 基于粒子滤波的目标跟踪方法。该目标跟踪方法主要利用粒子群算法进行分析，通过当前的目标跟踪结果来对采样粒子的分布情况进行分析综合，然后根据粒子分布情况对当前目标粒子进行扩散，再通过粒子的扩散结果分析来重新观察目标的运动状态，最后通过归一化的思路和方法来更新目标的运动状态。该算法的特点是对目标的跟踪速度快，同时有效解决了目标的部分遮挡问题，因此该目标跟踪方法在实际工程应用过程中使用率越来越高。

④ 基于对运动目标建模的方法。该目标跟踪方法的缺点是需要提前明确所跟踪的目标对象。然后通过对所要跟踪的目标状态进行有针对性的建模，再利用该模型对目标进行跟踪。该方法必须提前进行跟踪对象确认，然后才能跟踪指定的目标。

综上所述，当前基于粒子滤波的运动目标跟踪是目前应用最广泛的一种目标跟踪方法[10]。粒子滤波跟踪方式主要分为以下4个步骤，其中后3个过程依次循环实现对运动目标的跟踪。

① 运动目标特征提取。该阶段确认待跟踪的目标状态，利用目标的典型特征来构建跟踪目标区域的颜色空间对应的直方图，并以该直方图作为描述被跟踪运动目标的特征。

② 目标典型特征搜索。在第一个操作步骤后，接着在被跟踪搜索目标的周围布撒粒子搜索目标对象，布撒粒子的方法通常有均匀布撒和针对性布撒，通常是将两种布撒方式相结合，靠近目标的地方多撒些，离目标较远的地方少放些。每个被布撒的粒子针对目标特征计算出它当前所处位置的颜色特征，随后对每个粒子与被跟踪目标计算出的相似度进行归一化处理和分析，使得所有被布撒的粒子的相似度之和为1。

③ 目标典型特征决策。将布撒的每个粒子与目标的相似程度做加权平均处理。

④ 目标典型特征粒子重采样。根据第③步的权重相似度的大小来对粒子的个数进行重新分配，在目标相似度高的地方布撒更多的粒子，在相似度低的地方布撒少一些粒子，以更具针对性。主要思路和目标是粒子的随机采样和粒子的重要性重采样。

虽然目前目标跟踪技术应用已颇为广泛，但跨场景、长期遮挡下的目标跟踪技术仍有待突破。

2.2.2 目标检测识别技术

目标检测识别技术[11]是一种对形状复杂的目标进行检测识别的技术。目标检测识别技术的主要思想是利用前一帧建立的目标模型找到当前帧的目标区域。传统的目标检测算法由于精度、速度和算法鲁棒性均较基于深度学习的目标检测算法逊色很多，目前国内外主流的目标检测算法均是基于深度学习进行的，如具有代表性的YOLO算法、SSD算法等。目标区域的颜色直方图、边缘或轮廓均可以作为研究的识别检测模型。利用目标轮廓的方式主要有目标的形状匹配、目标的轮廓跟踪。

① 目标的形状匹配技术。该技术通过在当前帧中主动搜索目标的轮廓，同时在连续帧中来寻找被观测目标的关联轮廓，通过利用被观测目标的外观特征，来建立当前帧和连续帧之间相应的轮廓关联。具体来说，首先对目标的背景进行减除；随后对目标的轮廓进行提取，同时对目标和每个目标轮廓的具体距离进行相应的匹配。通常来说目标的展现形式有多种，如密度函数、直方图、体积函数等。

② 目标的轮廓跟踪技术。该技术通过对上一帧的目标轮廓位置来对当前目标的轮廓进行相应的预测。具体来说，首先对状态空间模型进行相关的目标跟踪，并对轮廓的关键形状和目标的运动参数进行定义，之后通过梯度下降法或贪婪算法进行目标轮廓的优化及跟踪。

虽然目标检测技术发展迅速，在数据集上测试效果也很出色，但检测模型的训练需要大量的样本作为支撑，检测视角多为监控、水平视角，现代战场应用时检测场景及目标同现有数据集大为不同，环境更为复杂，训练样本量严重不足，同时无人机高空飞行的状态也导致了检测目标所占的像素尺寸不会太大，这也是未来战场环境下目标检测识别技术的主要研究方向。

2.3 目标定位技术

目标定位技术[12]是一种根据无人机侦察视频图像建立图像与地面目标的对应关系，以此推算目标实际地理位置、运行速度的技术。目前应用的无人机目标定位方法主要有基于图像匹配模式和基于遥测数据模式。其中，基于图像匹配模式的目标定位计算时间长，定位精度受限于地图精度，而基于无人机遥测数据的实时定位受系统误差影响较大。基于空间交会的目标定位是单纯依靠无人机遥测数据定位的拓展，通过交会模型的建立进行平差定位，从而提升目标定位精度。

由于战场环境电磁环境通常来说十分复杂，卫导和其他测量设备可能受到电磁干扰，导致结果不准确。因此，如何解决图像的匹配模式中实时性及计算复杂度问题，依然是未来的主要研究方向。

3 战场态势理解

战场态势理解[13]即根据态势觉察结果进一步理解并联合目标信息，评估目标威胁，结合地理信息系统，构建战场整体态势图。

3.1 目标编群

无人机态势觉察获取的目标信息是离散的，不利于指挥官分析整体战场态势。目标编群通过分析各个作战单元的关系，对作战单元进行归类整合编组，减少信息冗余，有利于指挥官对战场态势进行判读，提取更深层次的战场态势。目标编群的本质是聚类，目前已有很多学者开展相关研究，如赵帮绪等[14]提出一种阵群目标数据关联算法；李龙顺等[15]提出迭代自组织数据聚类方法；张绪亮等[16]则通过改进K-means算法实现战场作战单元的编群据类。整体而言，目标编群技术已得到广泛的研究，但实际应用时，由于受到目标感知结果的限制，仍存在准确性、鲁棒性不足的问题，强适应性、高效性的目标编群技术仍是战场态势理解技术的研究重点。

3.2 多源数据融合技术

此处的多源数据融合技术与图像优化技术中的图像融合技术有所不同，多源数据融合技术更广义，融合的多源数据也并非仅仅是图像数据。此处的多源数据包含战场中所有多源异构传感器采集的数据。而多源数据融合技术则是利用相关手段，关联挖掘战场数据信息，提取更加丰富的侦察信息。

多源异构数据融合过程主要包括目标知识抽取、关系关联、关系推理等。目前，多源异构数据融合技术尚处于发展阶段，并没有完全自主化且准确率高的多源异构数据融合技术能够支撑战场环境下多源数据精准融合，主要难点表现在数据获取、量化和模型的建立等方面。

3.3 威胁评估技术

目标威胁评估技术是战场决策级的推理行为，目标威胁程度受类别属性、运动状态、现场环境等诸多因素影响。目前现有的研究多基于目标本身属性进行排序评估目标威胁程度，如张靓[12]引用组合评价的思想，通过对目标大小、速度、航向角、距离等进行量化评估，确定威胁程度；王毅[17]则应用目标方位、俯仰、大小、亮度、速度等指标利用基于模糊判断准则评估目标威胁程度。未来研究中，应结合战场态势预测结果和整体态势信息，以目标自身属性为基础，综合目标的行为意图来评估相关目标的威胁程度。

4 战场态势的预测

战场态势预测是指利用态势的觉察技术和态势理解的相应结果来预测目标未来作战状态。战略层次的战场态势识别和预测是作战系统级别的，在此不进行讨论，战术级别的目标意图识别预测是本文讨论的重点。

战术级目标意图识别是根据态势觉察、态势理解的结果，快速准确地识别战场作战目标的作战意图，为指挥官针对敌方作战意图制定应对策略提供保障，也为智能决策提供信息支撑。有不少研究学者对目标意图识别展开研究，战场目标意图目前并没有一个公认的解释，研究人员往往根据自身理解将战场意图划分为侦察、监视、佯动、攻击、突防、诱敌、撤退等多种模式，常用的目标意图识别方法包括贝叶斯网络、模糊集合理论、专家系统、深度学习等。深度学习以其良好的学习能力和泛化能力成为研究的热点。常用的深度学习预测网络有深度置信网络、堆栈自编码器、循环神经网络等。长短期记忆网络(Long Short-Term Memory,LSTM)是目前应用最广泛的循环神经网络改进算法之一,通过模拟人脑机制进行有效目标意图识别预测，欧微等[18]构建了LSTM模型对战场目标意图进行识别预测。

虽然目前战场目标意图识别预测研究已经较为深入，但由于目标意图识别预测的影响因素众多，仍有部分问题亟待解决，具体如下。

① 目标意图的量化划分。如何依据不同使用条件，清晰准确地对目标意图进行划分，根据划分种类动态更新识别结果。

② 数据获取及利用。如何充分利用所有侦察信息，采集战场环境、目标属性等多维数据，作为模型输入进行识别预测。

③ 识别模型的在线更新。应根据战场情况实时更新模型，提升系统鲁棒性以适应更加复杂的战场环境。

5 结束语

战场态势的复杂性使得研究学者们对战场态势感知的理解略有不同，但由于战场态势感知的目的性，战场态势感知可以归纳为战场态势觉察、战场态势理解、战场态势预测3个阶段。本文结合基于图像的无人机态势感知应用，分别针对态势感知3个阶段的关键技术进行讨论，并对实现难点及发展方向进行探讨，可为基于图像的无人机态势感知系统研究提供参考，也为其他侦察系统态势感知提供借鉴。