增强现实技术在装备使用说明书中的应用

戴良智 吴昊 朱明辉

（1.安徽庭聚传媒科技有限公司 安徽省合肥市 230031 2.海军驻芜湖地区军事代表室 安徽省芜湖市 241001）

（3.中科大先研院新媒体研究院 安徽省合肥市 230031）

1 引言

近年来，移动互联网、智能硬件、人工智能等技术的迅猛发展，给装备的展示、装调、维保和培训带来了巨大的变化。尤其是这些技术与增强现实技术融合发展，在装备领域帮助工程师将科学、数学数据，完全运用于各类机械结构的发明、创新、与改善工作中，实现装备应用场景的智能化人机交互和管控。此举将彻底改变用户度装备应用的场景，比如面向复杂环境下的装备维保，运用增强现实技术可以可视化指导装备使用者在工程师无法到场的情况下进行装备的安装调试，并流程化调试，极大地提高了装备的安装效率。[1]

增强现实（Augmented Reality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种真实世界数据与虚拟数据的技术，这种技术的目标是在显示器上把虚拟数据套在真实场景下并进行互动。美国军队正在研发被称为综合视觉增强系统的新型战场平视显示器，将制作好的训练场景与真实世界的数据结合起来，通过训练来提升部队的备战能力和作战水平；军队一直在使用类似的技术训练他们的军人[2]。

本文设计的基于增强现实技术的装备使用说明书（以下简称“AR装备使用说明书”），是指通过智能终端、可穿戴式眼镜/头盔，在真实环境下以虚实融合手段现场实时指导维修，帮助操作者快速了解设备结构、使用原理、检测流程和维修步骤，力求进一步推动装备使用的数字化技术的应用发展。

2 AR装备使用说明书的开发

2.1 装备使用对数字化技术的需求

（1）装备展示的需求。传统说明书对装备仅有简单的图文介绍，没有内部组件和各组件之间连接关系的详细介绍，更别说从装备使用角度出发，对各组件的作用、功能的介绍，使得使用者无法快速对装备进行全面了解。同时也使得装备制造商丧失了主动对外进行装备展示、传播的机会。

（2）装备安装的需求。目前，不少装备的安装已经从纸质说明书的简单指导完善到安装视频的指导，但对于使用者来说，视频的安装学习无法构建一个现场安装的场景，且需要在视频和现场设备之间进行频繁切换，使用效率和便捷性上还有待进一步提高。

（3）装备维保的需求。装备的维保对人员、场地、工艺、流程的要求非常高，现有的说明书大多只能提供简单的故障判断功能，无法给使用者甚至装备厂家的技能人员提供相对完备的作业指导。而且，摘要式的说明极易导致由于步骤、工具、位置等原因使得误差率较高、便捷性不强。

（4）装备培训的需求。对于一些复杂装备的使用，传统的说明书一般只是提供文字化的步骤介绍，很难在使用者脑海中形成与实际装备关联的操作场景，导致指导性不强，很多时候，装备制造厂家需要安排大量的人力到现场进行专项指导。

基于增强现实的装备使用说明书的开发就是为解决上述问题而发展起来的。该说明书的开发将应用在装备的展览、安装、维保、培训各个领域，利用增强现实技术、信息技术和人工智能技术，将计算机产生的三维模型、图文注释等信息融合到使用者所看到的真实场景中，对人的视觉系统进行影像增强，通过零件、装配工具的三维模型、虚拟场景和增强装配使用信息等来指导使用者对装备的实际使用[3]。

2.2 AR装备使用说明书的功能开发

2.2.1 装备可交互式三维模型的建立

AR装备使用说明书开发的基础是对装备及其各组成部分的三维建模，这是后续所有交互式可视化设计的基础。在建模过程中，必须保证模型是不规则物体；既要保证模型的精度和质量，又要减少不必要的模型面数；模型布线要合理；模型的点线面要对齐，重合的点要焊接。

模型基本制作完成后，还要对模型进行进一步优化，使得使用者可以获得更好的感观体验和更好的网络应用，比如为了减少网络通讯的压力、提高显示性能，需要对三维模型进行移除隐藏面片、物体合并、切割大型物体、重复物体共享面片等优化。

2.2.2 虚拟场景的建立

面向装备的应用，虚拟场景的建立也是必不可少的部分。比如单个设备在整个运行系统中的安装位置、模拟使用、相互之间的作用关系等，需要构建一个整体系统的虚拟运行场景。此外，有的情况下还需要对地形、天气、地物等进行模拟，构建一个虚拟的装备使用环境[4]。当然，在具体实施过程中，还要注意合理设计用户对虚拟场景的浏览，统筹好数据量，保证浏览过程中的运行速度；对于某一个场景中展示内容过多的情况，可以采用同步加载，动态调用的形式进行优化，以保证使用者的体验感。

2.2.3 人机交互功能设计

人机交互是增强现实技术应用的核心之一。使用者与虚拟环境的交互的输入、输出是在三维空间中进行的，人机交互设计需要考虑新的输入组件、输出显示和交互隐喻，其研究的基本问题包含界面设计、交互功能分析、主要交互设备以及如何实现交互任务的交互技术等。使用者可以通过智能终端或是AR眼镜等硬件，在装备三维模型、虚拟场景等与实际装备发生场景融合的情况下，与融合场景中的装备、部件、场景、辅助按钮等进行交互，通过点击、滑动、拖拽、旋转等人机之间的动作交互以达到虚实融合的操作效果。

2.2.4 关键技术框架

AR装备使用说明书利用安卓和苹果的移动设备作为平台，采用了客户端并与服务器关联的形式，并由智能终端、服务器、真实场景和信息数据库等组成，主要涉及到跟踪注册技术、显示交互技术、无线网络技术和数据存储和访问技术等。系统按功能可划分为5个模块：

（1）场景捕获模块。用于对摄像机初始化进行设置，并捕获视频图像用于分析处理，读取摄像机数据和标准模板库；

（2）识别物检测跟踪模块。用于从图像中检测识别物的位置，计算出识别物和摄像机之间的变换矩阵；

（3）虚拟场景渲染模块。对虚拟场景进行三维层面渲染，并根据计算结果将渲染结果叠加到实时预览图像之上，实现增强现实的效果；

（4）基础算法模块。提供高性能浮点矢量、矩阵算法，实现图像处理基础算法。

（5）应用程序框架。该模块和智能机操作系统紧密集成，负责调度各个功能模块，实现完整的程序流程，首先由智能终端通过摄像头的图像采集功能捕捉到真实场景然后对获取的图像进行实时分析，通过注册与定位模块检测出预定识别物的位置和姿态。再根据获得的信息生成虚拟场景，利用融合渲染模块将虚拟场景与真实环境融合，最终通过智能终端显示，从而实现增强现实的效果。

2.3 AR装备使用说明书的功能实现

从装备使用角度出发，使用者通过AR装备使用说明书希望获得对装备整体结构了解、安装指导、维保建议、使用培训等服务。

在装备结构展示和安装方面，通过增强现实技术，使用者可以通过旋转、放大、拆解安装装备等操作，全方位观察装备结构组成、整体功能；还可以通过点击各组件模型，了解组件的功能及相互关系，观察各个组件在整机中的位置及运动规律；同时，学习者可以通过安装过程指导功能，在增强现实技术辅助下，了解装备组装顺序及组装细节，尤其是可以利用图像识别技术，通过智能终端使得安装的虚拟指导直接叠加到现实中的实际装备上，起到非常好的指导效果。

以大型制冷设备为例，整套系统是由室外机、舱内机，手控盒、连接管道、电缆等组成。在智能终端中安装AR装备使用说明书后，点击AR安装指导按钮，软件调取摄像头，进入增强现实仿真安装流程界面。使用者通过摄像头对准实际装备的组件，系统将在摄像头获取的真实画面上按照安装步骤逐个叠加虚拟的安装指导，并配备工具、操作手法等指导性信息，逐步指导用户完成制冷设备的安装、上电、开机、调试等工作。

AR装备使用说明书的维保应用能有效解决在复杂环境、无专业人员环境下，使用者快速对装备故障进行诊断及维修的问题。同样以制冷设备为例，在维修指导功能模块，根据实际装备上显示的故障灯依次点击三维模型上对应的故障灯，进入故障排查页面，使用者选择故障现象，进行现象检测；通过选择“现象”、“原因”，系统会提示可能的损坏部位、组件，提示对应解决方案；同时，系统同步记录错误编号，供专业维保人员使用。在AR指导功能下，全屏显示现实场景，场景中叠加组件的三维模型，按步骤指导换装。识别判断易损件位置如图1所示。

图1：识别判断易损件位置

在AR装备使用说明书中，一方面可以建立虚拟的装备使用场景，以供使用者脱离实际装备独立学习；另一方面通过对真实环境中的装备的各个部件、操控按钮等进行识别、定位和跟踪，将软件生成的三维模型叠加到标记所在的位置上，使得使用者可以很好的基于实际装备开展学习。

3 结束语

增强现实技术虚实融合、人机交互的特点，使得其在装备使用上的应用大有前景。当然，增强现实技术的实际应用还有一些问题需要解决，如真实感图形的绘制问题、沉浸式设备的体验问题等[5]。但是增强现实技术为装备的展示、安装、维保、培训提供了先进的手段，同样也为装备使用方面的创新提供了新的角度和思路。随着研究的深入和技术的发展，增强现实技术必将更加深入的应用到装备使用的各个方面。