装甲装备增强现实维修引导系统设计

查晨东，袁博



装甲装备增强现实维修引导系统设计

查晨东，袁博

（陆军装甲兵学院，北京 100072）

装甲装备增强现实维修引导系统的设计目的是为了能够使其在实际的维修中具有辅助维修的作用，通过虚拟模型和真实维修场景的实时融合，帮助维修人员快捷、方便地获取维修过程中需要的提示信息。根据某型号装甲装备维修保障工作实际需要，设计并实现了装甲装备增强现实维修引导系统；根据系统各模块的功能，详细介绍了该系统工作流程。

装甲装备；增强现实；维修引导；模块

典型的增强现实系统[1]通过计算图像采集设备的位姿信息，将计算机生成的虚拟模型实时叠加到真实场景中，通过头戴显示器、手机或平板电脑等显示设备将虚实融合后的叠加图像呈现在用户眼前。增强现实技术实现了真实场景与虚拟模型共存，可以在复杂装备维修中为维修人员提供直观灵活的操作流程，并且对于不熟悉复杂装甲装备检测维修的用户也可以通过装甲装备维修引导系统对装甲装备零部件进行维修。可以看出，增强现实维修引导系统对于缩短装甲装备的维护周期、提高维修效率具有重要意义。

1 增强现实维修引导系统模块化设计

文中的增强现实维修引导系统，设计了以下基本功能：图像采集、维修目标的识别和跟踪、虚拟信息三维模型、虚实融合显示和人机交互功能。图像采集功能需要实时获取真实的维修作业场景中的视频图像，然后将视频序列图像逐帧送入其他模块进行处理。维修目标识别和跟踪功能需要识别场景中待维修部件的位置，实时跟踪并获取目标在视频图像帧中的精确位置，由此解算摄像机的位姿矩阵。维修过程中需要的虚拟引导信息以数据的形式存储在数据库中，通过维修目标识别的结果判定需要的信息，从数据库中调用与当前目标对应的虚拟模型和维修引导信息，并通过在目标跟踪过程中得到的摄像机的位姿矩阵进行实时的三维注册，叠加至真实维修作业场景中，实现实时的维修引导。显示功能指为了使虚拟模型与真实维修场景融合后更加符合用户的真实视觉，需要将真实维修场景中的光照、阴影等元素加入到待渲染的虚拟模型的环境中。人机交互功能指根据维修人员的需求对叠加的虚拟信息进行更换。系统整体框架如图1所示。

如1图所示，可将系统工作流程模块化演示如下：①通过图像采集模块对局部维修场景进行视频图像采集，并将视频序列图像传输至目标识别模块中，利用目标识别模块对场景中的维修目标进行识别定位，通过滑动窗口检测出维修目标的ROI区域并将其送入跟踪模块处理，同时通过人眼观察判断当前目标的故障状态；②在跟踪注册模块中对维修目标特征点进行跟踪并实时计算出摄像机的位姿矩阵，同时从数据库中调用与该维修目标所对应的虚拟维修引导信息，对维修人员给予虚拟维修信息提示；③在虚实融合模块中形成虚实叠加图像并将其传输至显示模块使用计算机显示终端。另外，人机交互模块可在跟踪注册成功后根据当前维修状态对叠加的虚拟维修引导信息加以选择或变更。下面对各个模块的具体结构和功能进行介绍。

图1 系统框架

1.1 图像采集模块和显示模块

图像采集模块主要由智能设备的摄像头组成，摄像头除了采集图像，将序列图像送入系统处理之外，其本身的各项参数也是增强现实系统中的重点。需要从序列图像中解算摄像机的各项参数，所以序列图像不能出现模糊的现象。

显示模块主要由系统的载体决定，系统的载体可以是笔记本电脑、手机或平板等具有显示功能的移动载体，可以将真实场景与虚拟模型以视频图像的方式呈现。增强现实有多种显示设备来满足各种各样增强现实系统的不同需求，常用的有平透视式头盔显示器、手机和平板电脑、其他便于携带的设备等。然而就本文的实际应用来看，采用移动设备来进行显示，移动设备具有便携的优势，对工作环境的限制较小，使用范围较广。

1.2 目标识别模块

目标识别模块主要功能是根据系统发出的维修指令，选择场景中的某个装甲装备零部件进行维修，然后快速识别出该部件在场景的位置，并将其位置发送至跟踪注册模块。

1.3 跟踪注册模块

跟踪注册模块的主要功能是通过对维修目标实时跟踪，以不同图像中维修目标的位置来计算出摄像机相对于维修目标的位置和姿态[2]。

1.4 数据库和虚实融合模块

数据库是装甲装备维修引导系统的基础内容，它的主要功能是在离线阶段建立三维虚拟模型以及维修信息，并将其以数据的形式储存。

通过系统的目标识别模块和跟踪注册模块可以确定维修目标的类型和摄像机实时的位姿信息，在虚实融合模块中可以根据这些信息从已建立好的数据库中选择相应的虚拟模型和维修引导信息并将其准确叠加到视频图像中指定的位置。在进行虚拟模型渲染时，调用了OpenGL底层单元，通过搭建模型和纹理贴图完成虚拟模型的构建。

1.5 人机交互模块

人机交互模块是为了方便维修人员对系统提供的功能进行选择，在增强现实系统中常用人机交互方式有语音交互、基于视觉的手势交互等，这些交互方式通常是通过操控增强现实系统中的功能菜单来实现的。由于本文设计的装甲装备增强现实系统的载体是平板电脑等具有硬件显示功能的移动设备，因此本文采用GUI界面的交互形式进行人机交互。

2 系统实现

本文中的装甲装备修引导系统以操纵台为对象。操作平台为Windows7系统，使用罗技c920摄像头为图像采集设备。利用Qt[3]设计程序运行界面，如图2所示，界面中显示窗口用于实时显示图像，其大小为640×480；系统状态栏用于显示系统的状态，系统有空闲、识别和跟踪3种状态；摄像机位置包括6个参数，在跟踪状态下将实时计算出这6个参数；故障列表栏用于选择操纵台的故障类型，从而导入不同的维修操作模型。

图2 系统实现

3 结论

本文设计并实现了增强现实装甲装备维修引导系统。对增强现实技术在装甲装备维修的应用方面进行了探索，对系统的整体框架进行了模块化设计，并对各模块的功能进行了介绍，在实际维修环境中对系统的功能进行了展示。本文设计的增强现实系统一定程度上实现了增强现实技术与装甲装备维修保障工作的结合，具有一定的实用价值。

［1］赵新灿，左洪福.增强现实维修诱导系统交互技术研究［J］.中国机械工程，2008，19（11）：1312-1316.

［2］张志禹，刘耀阳.基于SURF与光流法的增强现实跟踪注册［J］.计算机工程与应用，2015，51（3）：166-170.

［3］方世烟，林东.基于Qt的电纸书图形用户界面设计［J］.计算机系统应用，2012，21（3）：216-219.

2095－6835（2018）24－0017－02

TP391.9

A

10.15913/j.cnki.kjycx.2018.24.017

查晨东（1993—），男，研究方向为增强现实。

〔编辑：严丽琴〕