基于语义本体的无人机人机交互控制方法研究

徐巍峰 徐非非 王文军 潘明华 孟繁东

1(浙江省丽水市正好电力实业集团有限公司 浙江 丽水 323020)2(浙江省丽水市正阳电力建设有限公司 浙江 丽水 323020)

0 引 言

通过自然语言交互[1]方法对智能机器进行远程操控，已被广泛应用于应急救援、危险作业、电力巡线检测等场景中。小型无人机能够通过传感载体对高空态势进行有效的探测和数据采集，尤其在电力巡线中可以减少人工检测的复杂度，但目前对于特殊专业无人机的操控仍需专业训练的操作人员，通过自然语言的形式发出指令，当操作人员对态势环境不熟悉的情况下需要大量专家经验或重新了解地面环境知识，以作出进一步的分析和实施。与地面机器人人机交互不同，无人机在保证飞行安全的同时，要完成更加精准和稳定的复杂动作，针对不同领域环境状态调整无人机人机交互方式及如何融合各种状态下无人机的应对能力，是无人机智能可控研究面临的挑战[2-3]。

对于人机交互系统，操作人员对智能机器的操控很大程度上取决于机器对指令用意和周边环境的语义理解[4]，语义本体[5-6]建模对自然语言的领域概念结构及相互关系进行定义推理是目前较为成熟的技术，它采用标准化的统一格式能够实现人机交互的语义理解，进而达到人机交流的共识标准。由于语义交互方法大部分用于地面机器人的导航系统[7-9]，较少涉及无人机人机交互操控方法的研究和应用。已有方法大致可分为两类：(1) 集中于在模型框架的方法。如文献[10]采用多层认知框架的知识表示方法，描述无人机个体行为规划和联盟形成的过程，在高级认知活动和反应控制信号方面生成一个中介应用于无人机控制中；文献[11]在预测模型中融入语义知识表示方法刻画物理环境实体，提供无人机交互控制的工具。(2) 集中于在建立自然语言接口的方法。如文献[12]设计了基于领域自然指令方法，建立了面向自然语言接口的无人机交互控制系统；文献[13]借助层级式空间表达方式将地图信息和环境实体抽取为概念图，并用逻辑本体语言存储相关领域知识推理环境实体，实现机器人或飞行器的人机交互的语义理解；文献[14]将postGIS[15]空间数据库的数据融入到语义地图框架，提出了在几何空间约束下的定性目标推理方法，为无人机飞行器提供基于postGIS和语义地图的3D操控框架。

基于上述研究，结合认知框架和自然语言接口的优势，本文以电力巡线为领域背景，将语义本体引入无人机人机交互，以电力环境信息作为先验知识和本体推理的基础，构建关于概念本体的知识库和多元语义关系模型，通过标签稀疏拓扑图推理语义位置关系，为无人机电力巡线提供轨迹控制和语义导航服务。

1 语义交互模型

1.1 系统框架

为提供人机交互控制的统一机制，系统框架由本体事实库、多元语义关系结构和语义解释接口组成。(1) 本体事实库是标准化的概念模型，为无人机环境感知提供统一的标准化接口，将语义Web框架Apache Jena[16]的原型集成，提供逻辑表达语言能力，以支持SPARQL[17]查询语言，从而实现空间数据链接到本体知识库的过程。空间数据平台采用postGIS，可以有效地支持2D和3D几何图形，其数据建立在PostgreSQL[12]关系数据库基础上，符合开放地理空间联盟的标准。(2) 多元语义关系结构是基于本体事实库构建，在无人机传感器上装载SLAM[18]程序记录航行轨迹的每个位置，采用OWL语言描述以谓词逻辑的表达方式对每个位置上的实体单元进行定义，并对本体事实库的OWL-DL[19]进行语义扩充，针对每个实体单元和几何图形等位置关系，为无人机局部探测的信息进行动态概念的实时更新，形成案例事实库。(3) 语义解释接口是在无人机感应器和本体事实库之间建立的操作接口，为演示在无人机上的实际应用，提供了与无人机操控系统绑定的语义接口并标准化为统一的本体结构模式。

无人机语义交互系统框架如图1所示。通过规则导入将postGIS数据库中的数据形式化为本体概念，无人机通信网络和传感设备与本体事实库连接，基础数据存储于postGIS中，根据已有的本体事实库实现初步位置连接和轨迹控制，当无人机传感设备检测到新的数据时，共同更新postGIS数据和本体事实库信息，并触发多元语义关系的拓扑结构动态扩充本体实体概念、关系和实例，语义解释接口运用OWL语言描述为语义导航和轨迹控制提供服务。

图1 无人机语义交互系统框架

1.2 本体事实库构建

将postGIS数据库的字段抽取为本体事实库的概念集，UAV_Control为本体事实库的顶点，通过is_a关系集将概念集有效连接，每个概念集又存在实例集，从而形式化为一个五元组O_facts=(C,I,R,F,A)。本体事实库模型如图2所示。采用protégé软件平台，以电力巡线为应用背景，对某一检测区域在一定时间范围内的电力设施信息和地图信息进行本体建模，共有350个实体概念，2 000余个实例，并通过SWRL调试形成具有图结构的知识库模型。

图2 本体事实库

本体事实库中，C表示事实概念集合，分为基础环境类、事实事物类和巡线操控类。其中，基础环境类包括点、线、多边形等概念，同时包含共6层子类。图2中左边为事实概念集合的树形分布，通过自顶向下的方式构建成父类、子类节点，如Polygon概念类包含Telepole(电线杆)、TSwitch(刀闸)、Tower(杆塔)、Transmission(输电设备)等子类，更具体地还包含了这些子类下的实例，如Tower的编号、名称、面积、位置等。I的数据来源于postGIS数据库数据字段内的数据，通过Apache Jena将postGIS数据封装成支持SPARQL查询语言的OWL模型。R表示关系集，集成了所有概念集之间的关系，包括包含关系、组成关系、因果关系等，通过关系表示使概念集之间相互连接，如is_a关系集成了各概念之间的子类与父类，connect_of关系集成了两个实体之间的位置关系，consist_of关系集成了点、线、多边形之间的组合关系，而move_to关系集成了无人机操控交互的因果关系，这些关系集作为多元语义提供语义解释接口，添加可解释语义标签后可为无人机提供路线控制和位置连接等功能。F为概念集上的函数集，定义了语义操控的交互动作，通过标签稀疏拓扑图的方式集成了无人机在巡线过程中对每个动作状态的转移、变更和存储功能。A为公理集合，集成了多元语义图模型的各种连接关系，包括诸如谓词逻辑、规则和搜索引擎，能够实现语义位置连接、动态概念扩充等功能。

2 多元语义构建

构建了本体事实库以后，完成了对postGIS空间数据向本体知识的图形转换，通过OWL语言构建多进一步抽取人机交互状态。多元语义结构分为拓扑关系生成T-Box和多元语义解释接口S-Box两部分，所有数据均来源于本体事实库的基础概念，通过语义解释接口进行连接，生成一个可读写的owl文档，用于为无人机操作人员提供动态的语义操控模式，从而提高导航对位置、线路、关系的可解释性。

2.1 生成拓扑关系

目前无人机传感器获取的环境信息通过本体事实库connect_of关系进行了静态连接，随着交互操控的动态变化、飞行状态区域与区域之间的快速变化和实体的移动，生成拓扑地图触发本体事实库并动态更新本体事实库知识，通过OWL语言描述并生成拓扑地图T-Box，通过以下代码实现两个区域的实时连接：

? Environment rdf: type Environment: Polygon

? Polygon rdf: type Polygon: Area

? Polygon semap: connect_of ? Area1, Area2

? Polygon semap: hasObjectModel ? Area_object

? Area_object semap:hasConvextHull2D? Area_abstr2D

? Building rdf: type area: TelepoleAttributes

? BuildingAttributes semap: hasObjectModel ? Telepole_object

? Building_object semap:hasConvextHull2D ? Telepole _abstr2D

? Building _abstr2D semap: hasCoordinate ? Area_abstr2D

代码描述为无人机飞行连续探测到区域Area1和Area2时，自顶向下Environment-Polygon-Area构建概念类，通过connect_of关系集将Area1和Area2进行连接，当Area范围内有建筑物Telepole时，记录Telepole上的属性及结构，包括坐标值、编号、特性、附属实体等。然后借助save_facts由本体事实库O_facts生成一个扩展事实库T-Box_facts，用流写入O_facts，代码如下：

save_facts:-%

open(‘T-Box_facts’, Write, Out)

findall(connect_of(Area1,Area2), O_facts)

writefact(O_facts,Out)

close(Out)

扩展事实库extends_facts描述了将所有区域位置进行相连，从而生成拓扑图数据库。如图3所示，T-Box进一步说明了拓扑地图在本体事实库基础上生成的关系，对于某一个Telepole而言，通过线路(has_line)、形状(has_shape)、近邻(is_Near)等关系不仅可以将无人机实时感知的地图知识写入到本体事实库中，还可以将本体事实库内部的逻辑关系进行扩展和更新，提供语义接口的导航服务。

图3 拓扑关系图生成

2.2 语义解释接口

对于无人机自身而言，可以根据本体事实库的坐标和实际感知位置相似或一致的情况，推理出当前位置及该区域内的实体信息。以下代码描述了无人机通过简单的深度搜索方法，在Polygon—Area—Tower_object中检索到AreaObject所有的属性值，包括其坐标位置参数、路线参数等：

? Environment rdf:type Environment: Polygon

? Polygon rdf: type Polygon: Area

? Polygon semap: hasObjectModel ? Tower_object

? Area_object rdf: type area: TowerAttributes

? Tower semap: hasCoordinate ?(125 363, 47 528, 19,600)

? Tower semap: hasHTcable ?((125 363, 47 528, 20 600)(135 363, 49 558, 20 600))

获取当前位置及位置信息后，为操控人员提供行为模式的语义选择，在拓扑关系图基础上，构建一个语义空间结构S-Box，描述为无人机如何针对目标位置进行线路规划和位置选择。如图4所示，将S-Box的特征实例与T-Box的概念相对应，当Polygon中的Area1与Area2相连，依据生成的拓扑关系图，Area1通过at关系连接实体对象Object1和Object2，Area1通过at关系连接实体对象Object3、Object4、Object5和Object6，这些对象的实例通过Nav_Object函数扩充概念的属性，包括特征集Features(f1,f2,…,fn)和关系集Relations(r1,r2,…,rn)，这些集合标注了两个实体之间连接的初始概率，提供了感应设备对环境的语义解释接口。因此，语义解释接口可认为是将本体事实库中的感知特征和初始概率进行编码化的实例。通过语义解释接口，U1表示为{(Object1 is_a Tower1),(Area1 has_a Coor), 0.1}，U2表示为{(Object1 is_a Route),(Area1 has_a HTcable), 0.05}，而在每个Object或Area概念类中均扩充了语义文本实例。

图4 语义解释接口

3 语义推理

3.1 位置状态推理

多元语义结构为无人机在动态环境下提供了可解释的语义接口，可以根据位置判断该区域的语义信息，在动态未知环境下飞行时，感知器装载的SLAM程序以连续帧方式形成了一个具有三维增量运动圆柱形子集hsi，该子集由连续位置采集点构成，而位置采集点形成拓扑点集。为提高位置节点的利用率，将hsi转换为标签稀疏拓扑图[20](Labeled Sparse Topological Map,LSTM)，用于位置导航和轨迹控制时被调用。

(1)

(2)

3.2 轨迹控制

位置的语义连接将采集的数据形成局部轨迹，而轨迹的控制实质上是通过对多元语义模型的顶点和线路的检索及选择。由于在位置状态推理中，位置上均加载了一个语义标签，为语义解释接口提供了连接本体事实库概念集的方式，具有位置与位置的局部语义连接，为得到最佳的全局轨迹控制，采用语义距离和空间距离进行线路的检索。

(3)

算法1目标语义搜索算法

输入：O_facts，查询Q，已检测位置序列Qu，期望位置结果数量k。

输出：k个最优LSTM位置节点。

1.Qu.Enqueue(root,0)

//初始化优先队列

//将查询Q稀疏化为LSTM

3. while notQu.isempty() do

4. ifvCi是叶子节点 andi≤kthen

7. end for

8. elsevCi为下一条结果

9. (RQ,vCi)←Qu.Deqeue()

//根据式(1)对Qu队列中

//采用式(2)计算局部位置节点连接，逐步形成

//三维增量为圆柱形子集hst并获取k个LSTM节点

10. if 已找到k条结果且满足结果集RQ条件

11. return

12. end if

13. end while

4 实验分析

4.1 系统实现

结合研究内容研发设计了一个基于语义本体的人机交互模拟演示系统(Semantic Interaction for UVA and Human System，SIUHS)，在电力巡线中初步实验仿真，其图形界面如图5所示。系统采用Visual Studio 2010开发，地理数据源于山区电力路线数字地图，通过protégé 中OWL SPARQL查询语言返回所有结果；用户终端采用小型四旋翼无人机使飞行高度在50米至100米范围之间，考虑到安全性所有飞行情景按规定模式执行，仿真实验环境下保持外部环境良好状态。

图5 基于语义本体人机交互模拟演示系统图形界面

由图5可知，设定目标塔杆，无人机A位置起点逐步检测当前的语义信息，首先触发本体事实库的概念集，通过多元语义逻辑关系关联当前位置的语义信息，包括到达目的地的所有位置信息，如Tower2(塔杆2)概念集下的Tower2_L1(塔杆2电线)、Tower2_HTcable1(塔杆2高压线)、Tower2_LS1(塔杆2刀闸)，Tower4(塔杆4)概念集下的Tower4_Insulator1(塔杆4绝缘子)、Tower4_TP1(塔杆4杆线)、Tower4_HTcable1(塔杆4高压线)，而这些概念集又包含了具体的属性值和实例集，如塔杆高压线的位置坐标值、通信设备、线路长度等属性，均可在系统中显示；然后，对当前的语义信息进行LSTM表示，推理出位置状态和时间转换概率进行语义位置连接，采用语义距离和空间距离进行归一化处理，为高空电力巡线提供了丰富的可视化语义服务。

4.2 位置状态变化分析

图6 位置状态变化

4.3 语义推理分析

语义推理结果从实际距离变化、目标位置误差和控制精度三个方面分析，结果如图7所示。

(a) 实际距离变化

(b) 目标位置误差

(c) 基于PPK导航定位的精度控制图7 语义推理结果分析

(1) 实际距离变化由实际距离与期望目标的距离变化曲线得出，由图7(a)可知，本文方法的实际距离与期望位置相对距离较小且振幅变化稳定在2 m以内，说明了即使在postGIS图上测量数据存在误差及在实际飞行中传感器成像需要一定时间的情景下，本文方法仍满足稳定的期望位置状态估计。(2) 采用目标位置误差测量说明与传统密集航点模式的优势，由图7(b)可知，本文方法相比传统密集航点模式在每5 s的采集点内的平均误差低10%。这是由于本文方法采用LSTM统一描述圆柱形子集hst及位置状态之间的变化，降低了目标位置节点的计算开销，使误差结果较小；而密集航点模式的位置节点零散不统一，虽然可以得出丰富语义信息，但会给提供操作人员的信息过载。(3)采用PPK[22-23]的定位导航方式进一步说明本文方法控制精度的可行性。由图7(c)可知，本文方法通过与人工蚁群方法[24]和Agent方法[25]比较，随着路程和时间的增加，本文方法在GPS接收器所采集的定位数据测量处理后，平面精度控制在2.50±0.05 mm，这些性能得益于通过多元语义关系，为每个位置加载了语义标签并计算语义空间距离，匹配本体事实库O_facts的实体位置点，推理形成了语义关联的位置连接，从而提高了控制的精度。而人工蚁群方法平面精度测量相对处于较大值，Agent方法精度测量值较低，但是在20 km后陷入跳跃不稳定状态，说明不能够达到交互控制的全局最优。

5 结 语

无人机的人机交互很大程度上取决于机器对周边环境概念的理解，而实现这一点的基础是构建有效的概念本体知识库。本文以电力巡线为领域知识背景，以自然语言的方式实现无人机的远程操控，要求无人机能够理解构建的概念本体事实库指令术语，并生成关于位置节点的拓扑关系图和语义解释接口，与地面机器人密集位置采集模式控制方式不同，在基于标签稀疏图的语义位置推理和轨迹控制的基础上，实现人机在统一的概念内涵和位置推理基础上的交互控制。研发了语义本体人机交互模拟演示系统，通过实验证明本文方法的有效性，能够帮助用户更准确地计划、模拟和控制无人机的飞行轨迹和巡线路径。然而，在现实环境中发现，本文方法未考虑电力巡线过程中复杂环境下的交互控制，且传感器成像的误差也给数据的不确定性带来了挑战。未来将充分考虑复杂环境下的语义控制，不仅对外部的复杂巡线信息进行处理，而且研究无人机自身的飞行状态信息，以提供更高效的语义交互服务。