虚拟现实和增强现实技术在飞机装配中的应用

（南京航空航天大学机电学院，南京210016）

飞机具有尺寸大、结构复杂和零部件数目多等特点，飞机装配从零件、组件、段件、板件、部件到最后总装对接过程中，需要大量内容复杂、形式多样的行业知识。同时，产品在研发、设计和制造工作中产生的众多技术信息是支持产品装配的重要资源[1]。在传统装配工作中，装配所需的大量信息和数据都分散在各个资料手册中，分散式的二维信息给管理和使用增加了不必要的麻烦。二维图纸的表达直观性不强，给工作人员提出了很高的视觉空间能力要求，即工作人员需要结合多个不同视图来想象产品的综合外观。除此以外，二维图纸的技术要求等信息不集中，不便于工作人员获取装配信息，这给装配工作增加了难度，大大降低了装配工作效率。随着近几十年航空工业的快速发展，航空公司对飞机制造商的要求也随之提高。飞机更新换代频率的加快和飞机寿命的增加，对飞机装配的时间、成本和质量等提出了越来越高的要求。传统的装配方法、信息管理方法和信息交互方式已经不能满足于现代化的飞机制造和装配要求。

近年来，随着计算机技术的快速发展，虚拟现实（Virtual Reality，VR）和增强现实技术（Augment Reality，AR）开始逐渐成熟[2]，并且已经开始应用于飞机装配。VR和AR技术作为飞机装配的有效辅助手段，可以解决传统二维图纸的表达不直观和信息不集中等缺点。研究人员可以利用计算机建立一个虚拟环境或增强现实环境，所建立的新环境可以提供装配所需的更集中、更全面的信息数据和更真实、更强烈的感官体验[3]。基于VR的虚拟装配系统可以为飞机装配方案设计和工艺设计提供有效的验证和评估方法，并形成演示文件以供培训。同时，基于AR的增强信息可以在实际装配中指导或辅助装配工作，提高装配效率。

国内外很多企业开发了虚拟装配系统来完成装配工作，如虚拟装配设计环境（Virtual assembly design environment，VADE）[4]，概念动态（Concept dynamics，CODY）[5]，虚拟训练工作室（Virtual training studio，VTS）[6]和虚拟设计与装配系统（virtual design and virtual assembly system，VDVAS）[7]等。飞机装配中，虚拟现实技术最先被应用于虚拟现实仿真装配中[8]，近年来，越来越多的企业开始综合运用VR、AR等技术来开发虚拟装配系统，波音公司的电缆导线装配系统是AR在工业装配领域中的典型案例[9]，芬兰 VTT 技术研究中心开发增强装配（Augmented Assembly）系统，用虚拟零件、虚拟装配工具和增强装配提示信息来指导工作人员执行装配操作[10]。

图1 虚拟现实连续统一体技术Fig.1 VR continuum

虚拟现实技术和增强现实技术

国际上一般把计算机视觉、增强现实、增强虚拟环境和虚拟现实这4类相关技术统称为虚拟现实连续统一体（VR continuum），这4类技术之间的关系如图1所示。

虚拟现实首先出现并应用于工业制造领域，是各类 “虚拟-现实”技术的基础。VR涉及计算机图形学、人机交互技术、传感技术、人工智能、多学科软件交叉应用等领域，利用VR技术可以对复杂数据进行可视化操作与信息交互[11]。VR技术利用计算机建立一个三维虚拟环境，提供给用户关于视觉、听觉、触觉等多通道的体验和交互，给用户实时、沉浸式的体验。虚拟现实包含4 个关键要素：虚拟环境、沉浸感、感觉反馈以及交互性[12]。VR中的体感交互设备能够获取用户的位置和操作等信息，从而反馈给用户相应的三维图像，因此对于用户而言，三维环境中的三维物体具有强烈的存在感，用户可以实时、交互地观察三维空间内的事物。

增强现实和增强虚拟环境是在虚拟现实技术基础上发展起来的两种人机交互新技术。两种技术从不同方面将真实环境和虚拟环境进行匹配合成，以增强用户的体验感和交互感。其中增强现实技术是通过传感技术将计算机产生的三维虚拟对象叠加到真实环境中，而增强虚拟环境技术则是将真实对象的信息叠加到虚拟环境中[12]。形象地说，增强现实技术和增强虚拟环境技术分别给用户提供“实中有虚”和“虚中有实”的新环境，用户通过相应的显示设备，可以观察到一个感官效果更加真实的新环境，在减少了三维建模工作量的同时，借助真实场景和真实对象增强了用户的体验感[13-14]。

Milgram等[15]将虚拟现实连续统一体定义为混合现实（Mixed Redlity，MR）。MR实现了真实环境和虚拟环境的匹配和合成，产生一个新的实时、交互的可视化环境，不仅可以给用户提供真实环境和真实对象的信息，同时也可以提供虚拟环境和虚拟对象的信息，这两种信息相互补充、叠加，从而拓展了用户的信息获取范围，增强了用户对真实环境的感知能力。

AR技术在实际装配中的应用

空客军用飞机公司（AIRBUS Military）的 Serván等[16]将 AR 技术应用在飞机车间装配指令（Work Instruction，WI）中，结合工业数字样机（industrial Digital Mock-Up，iDMU）技术，开发了MOON（Assembly Oriented Authoring Augme Nted Reality）项目，并用A400M FAL中的一个用例说明了该项目的可行性。WI是指导工作人员如何执行装配任务的文档，文档包括产品信息、资源信息和装配工艺信息，详细描述了装配工作人员需要执行的操作步骤、操作顺序和关键参数等。传统的WI是纸质文档，由制造部门创建和维护，使用于飞机装配工作，并随着工程的进行不断变更。WI纸质文档的修改、更新和管理，不仅仅浪费大量人力和物力资源，而且纸质文档信息离散、表达不直观，已经不适合于现代化的飞机数字化制造和装配。

与此同时，丁旭光还指出，印刷行业还需要有创意、会沟通的人才。有创意的人才能帮助企业跳脱出固有思维框架，找到新的增长点与发展方向；会沟通的人才能帮助企业跨界寻求合作，扩大产业既有版图。

MOON方法选择了增强现实的信息交互方式，使用网络摄像头实时捕捉装配工作区域的图像，然后从IDMU中提取相应的虚拟信息叠加到实时图像上。MOON系统可以拓展工作人员的信息获取范围，并且增强工作人员对信息的感知体验。该系统的结构如图2所示。

系统总共有两个不同类型的输入，两个输入用于增强现实系统生成可视化的工作指令作为输出。第一个输入是来自于真实的工作区域的图像信息，由安装在平板电脑上的摄像机（视觉采集设备）获取。工作区域中应预先设定后期用于校准和定位的识别标示，并且所捕捉的实时图像中需要包括该识别标识。第二个输入是来自虚拟信息的3D模型。虚拟环境的iDUM包含了装配中的所有CAD模型，所以首先需要在CATIA V5中选择在增强现实系统中看到的相应元素的CAD模型，并且需要选择为其创建的工作指令和资源配置等用于装配的所有虚拟信息。由Dassault Systemes开发的相关组件可以将iDMU几何信息转化为3DXML格式。

增强现实系统三维处理子系统、定位子系统和信息集成子系统组成。三维处理子系统负责识别、处理和调整3DXML文件，并将这些文件提供给增强现实系统。定位子系统负责计算需要执行的装配操作的位置和方向等数据。定位子系统通过检测真实场景图像中的识别标识，来对虚拟对象在图像中的位置来进行调整和定位。信息集成子系统是形成增强现实图像的信息处理系统，可以将虚拟信息和真实场景图像进行实时匹配和合成，并且输出到平板电脑上，用户可以在用户界面上看到合成的增强现实图像。

MOON方法的验证选择A400M军用飞机的框架36中的电气线路装配，该装配内容复杂，工作空间狭窄，观察条件极差。在传统装配工作中，电气线路的装配需要工作人员有极好的视觉空间能力来正确解释图纸，确定装配位置。图3[16]为MOON项目在电气线路装配中的验证。验证证明，使用MOON项目的新系统，AR技术把装配信息直接以三维形式叠加到真实装配环境中，大大减少了装配过程中装配误差的产生。

在飞机装配工作中，MOON项目能够将WI文档信息进行统一的管理，并通过AR信息交互技术将iDMU以3D视觉形式呈现给工作人员，增强现实技术所提供的全面、集中的交互式视觉信息可以更加直接、有效地指导装配工作，减少装配错误，提高装配效率和装配质量。

图2 MOON系统结构图Fig.2 Structure of the MOON system

图3 MOON项目的验证Fig.3 MOON project workshop testing

基于AR 和VR的混合现实技术在飞机机舱装配中的应用

华中科技大学的李世其等[17]将混合现实技术应用到了飞机机舱装配中。由于装配空间狭窄，装配过程复杂和装配要求高等特点，飞机客舱的装配已成为飞机研制的一大难题。在飞机装配中，VR技术已得到广泛应用，如虚拟现实仿真技术、虚拟现实下的装配工艺规划等。虚拟现实技术能给用户强烈的沉浸感和互动感，但是构造一个全三维的虚拟环境通常需要建立大量的三维模型，成本极高，并且全虚拟的环境无法直接为装配工人提供直观、有效的支持。然而，AR技术利用现有的真实装配环境和物理模型可以大大减少建模工作量，并且虚拟模型叠加到真实的装配场景上能够给装配工人更强烈的现实感，同时增强现实技术所提供的全面、集中的信息可以更加直接、有效地指导装配工作，减少装配错误，提高装配效率和质量。

混合现实技术将VR和AR有机结合，除了虚拟手、虚拟菜单和其他传统交互方式之外，系统还可以给用户呈现装配知识，将虚拟对象、几何特征和文本信息等装配知识叠加到真实环境中，从而可视化地引导用户完成装配工作。基于混合现实技术的虚拟装配系统结构如图4所示。

基于混合现实的真实场景和虚拟场景的匹配和融合的过程如图5所示，主要分为以下6个步骤：

（1）需要建立和真实装配场景相一致的虚拟装配场景，需要建立部分真实对象的三维模型和虚拟对象的三维数字模型；

（2）用视觉采集设备（如摄像机）在真实场景中获得相应的视频信号。在获取真实场景的过程中，用计算机来处理图像信息、提取元素特征，并且调整设备参数；

（3）在确定了摄像机参数后，通过预先设定的识别标记将虚拟场景和真实场景相匹配，以确定虚拟场景在真实场景中的位置；

（4）虚拟零件的图像由计算机生成并直接导入到真实场景中，通过实时生成和相关渲染，真实场景和虚拟场景能够在虚拟装配环境中合为一体；

（5）装配信息数据库中的文本信息（如产品名称、产品ID，装配工艺等信息）在场景叠加的过程中转换为数字地图，并匹配合成到混合现实场景中；

（6）最后，包含真实场景、虚拟零件和集中的装配信息的混合现实场景由输出设备呈现给装配人员，提供真实、全面、沉浸的交互体验和高效可靠的装配指导。

该虚拟装配系统使用AR技术来实现装配信息的增强，装配信息的增强是该虚拟装配系统区别于一般虚拟现实仿真装配系统的一大特点。混合现实场景中的增强信息是装配人员获得装配指导的主要渠道，可以大大减少装配错误，提高装配质量。建立面向装配的增强信息模型可以统一管理混合现实环境中装配所需的各类信息，装配信息主要包括4个方面：装配工艺信息，零件管理信息，零件几何信息和零件拓扑信息。如图6所示，增强装配信息模型可以分3层来建立，装配层、零件层和特征层这，层与层之间有相应的映射关系，模型的建立有助于信息的管理和提取。装配信息中的所有信息可以分为文本类信息和特征类信息两种类型。文本类信息主要有2D或3D文本模型、3D信息框架和文本图片3种表示方法。特征类信息可以参考CAD模型中的特征表示方法。

图4 基于混合现实的虚拟装配系统结构Fig.4 Systematic structure of mixed reality assembly system

图5 真实场景和虚拟场景的匹配和合成过程Fig.5 Integrative process of virtual-physical scenes

VR技术在该虚拟装配系统中的应用主要体现在虚拟手装配子系统中。在缺乏力反馈的虚拟装配环境中，只靠视觉引导来完成装配不能达到精确装配的要求，几何约束引导和虚拟手相配合的装配方法是在虚拟环境中提高装配质量的必要手段[18]。

采用约束代理的方法对约束信息进行表达，从而引导虚拟手完成装配工作。在虚拟环境中，基于片面的几何模型不包含任何的约束信息，图7[17]中添加在零件上带有关键点坐标信息的线和面等可视化装配特征成为实体的约束代理，图7显示了将约束代理添加到虚拟零件后的情况。在飞机装配中，轴线和平面约束是最常见的两种约束，但是CAD系统中轴线或平面约束的选择在不发生冲突的情况下是不受限制的，这导致装配中会产生很多冗余约束信息。在虚拟装配中，需要对约束组合的所有可能性进行归纳和分析，从而完成装配约束冗余的分析工作，才能得到较合理的装配约束作用的顺序[19]。

在工作人员执行虚拟装配操作时，虚拟手和操作者手的位姿关系通过数据手套保持实时同步。首先，系统需要计算虚拟环境中被抓取零件的全局位姿矩阵。然后，根据约束代理与虚拟零件之间的位姿关系，实时计算两个代理实体之间的相对位置关系。当约束参数在预设的捕捉误差（角度或距离）范围内时，系统自动捕获约束[19]。根据约束几何元素的类型，约束的识别规则可以分为3种情况：（1）平面—平面：从平面Pa上的点到平面P的距离dp-p；两个平面的角度θP-P； （2）平面—直线：直线上的点到平面的距离dP-L和他们之间的夹角θP-L； （3）直线—直线：直线上的点到另外一条直线的距离dL-L和他们之间的夹角θL-L。根据轴线和平面约束特征的组合分析，可知3个非冗余约束完全可以实现对于目标零件的精确定位。这种约束零件的方式在装配过程中可以高效、快速实现零件精确定位，因此能够解决装配过程中零件的多重约束的情况。

在虚拟环境中创建虚拟手，通过数据手套和位置追踪器（Flock of birds，FOB）建立虚拟手和真实手之间的关系，在约束指导下，虚拟手根据装配要求对虚拟部件执行平移、抓取和释放等操作。当虚拟手在执行操作时，测试虚拟手与零件之间的碰撞状态，通过零件的约束状态、能够分析零件约束信息并存储在约束链中。最后，系统测量并根据误差要求调整组件和目标部件之间的姿态关系。在约束的作用下，零件的运动不仅仅由虚拟手驱动，而是在约束函数的导航下运动。图8[17]展示了虚拟手在虚拟环境中的约束指导的装配。

使用VR技术建立虚拟手并用几何约束指导虚拟手的运动可以模拟实际装配工作中的装配情况。使用AR技术建立增强装配信息模型可以统一、方便地管理大量分散的装配信息。使用MR技术建立新的环境，将虚拟对象和装配信息匹配并叠加到真实场景中，可以加强虚拟对象和真实对象之间的联系，得到加强的空间关系和约束特征给装配人员提供了一些现实环境中很难感知或无法得到的信息，大大减少了装配工作量、提高了装配质量。

图6 增强装配信息模型Fig.6 Augmented information model

图7 添加约束代理信息的零件Fig.7 Constraint proxies betweentwo parts

图8 约束指导下的虚拟手装配Fig.8 Constraint-guided virtual hand assembly

结束语

在飞机装配中，VR技术已得到广泛应用，如虚拟现实仿真技术、虚拟现实下的装配工艺规划等，给飞机装配的方案设计和工艺设计提供了有效的验证和评估手段，同时也给新产品的研制提供了仿真和培训的途径。虚拟现实技术能给用户强烈的沉浸感和互动感，但是构造一个全三维的虚拟环境通常需要建立大量的三维模型，成本极高，并且全虚拟的环境无法直接为装配工人提供直观、有效的支持。然而，AR技术利用现有的真实装配环境和物理模型可以大大减少建模工作量，并且虚拟模型和虚拟信息叠加到真实的装配场景上能够给装配工人更强烈的现实感，集中的装配信息大大降低了对工作人员视觉空间能力的要求，减少了工作量，给实际装配工作提供了更有效的辅助手段。

混合现实技术可以将VR和AR有机结合，形成一种更灵活的人机交互技术，基于MR技术建立的虚拟装配系统，可以将VR的高沉浸感、互动感与AR的小规模建模、高现实感相结合，所提供的全面、集中的信息可以更加直接、有效地指导或辅助装配工作，减小装配误差，提高装配效率和质量。MR的应用对产品开发前期的设计、装配和验证等有重要的作用，可以大大缩短飞机装配前置时间，提高飞机装配效率和质量，节省大量的成本和资源。

参 考 文 献

[1]WANG J, CHEN T, LI S, et al.Applying brief algorithm to product assembly guidance based on augmented reality[J].Mechanical Science & Technology for Aerospace Engineering, 2013, 32(2):213-216.

[2]AZUMA R, BAILLOT Y, BEHRINGER R, et al. Recent advances in augmented reality[J].IEEE Computer Graphics & Apprications, 2001,21(6): 34-47

[3]JAYARAM S, JAYARAM U, WANG Y, et al. VADE: a virtual assembly design environment[J]. IEEE Computer Graphics &Applications, 1999, 19(6): 44-50.

[4]JUNG B,LATOSCHIK M,WACHSMUTH I. Knowledge-based assembly simulation for virtual prototype modeling[C]//Proceedings of the 24th Annual Conference of the IEEE Industrial Electronics Society, Aachen,1998.

[5]BROUGH J E, SCHWARTZ M,GUPTA S K, et al. Towards development of a virtual environment-based training system for mechanical assembly operations[J]. Virtual Reality, 2007, 11(4): 189-206.

[6]WAN H G, GAO S M, PENG Q S.VDVAS: an integrated virtual design and virtual assembly environment[J]. Journal of Computer-Aided Design & Computer Graphics, 2002, 7(1):27-35.

[7]CAUDELL T P, MIZELL D W.Augmented reality: an application of head-ups display technology to manual manufacturing processes[C]//Proceedings of International Conference on System Sciences, Hawaii, 1992.

[8]WANG F. Virtual reality simulation and its application on aircraft assembling[J].Journal of Beijing University of Aeronautics &Astronautics, 2001,27(2): 213-216.

[9]SALONEN T, SÄÄSKI J,HAKKARAINEN M, et al. Demonstration of assembly work using augmented reality[C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam, 2007.

[10]SALONEN T, SÄÄSKI J,HAKKARAINEN M, et al. Demonstration of assembly work using augmented reality[C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam,2007.

[11]毕利文. 虚拟现实技术在飞机装配工艺规划中的应用[C]//中国航空学会.第六届中国航空学会青年科技论坛文集（上册）.北京: 中国航空学会,2014.BI Liwen. Application of virtual reality technology in aircraft assembly process planning[C]//China Aviation Society. Proceedings of the Sixth China Aviation Institute of Youth Science and Technology Forum (one). Beijing:China Aviation Society, 2014.

[12]周忠,周颐,肖江剑.虚拟现实增强技术综述[J].中国科学:信息科学, 2015,45(2): 157-180.ZHOU Zhong, ZHOU Yi, XIAO Jiangjian.Review of virtual reality enhancement techniques[J]. Chinese Science: Information Science, 2015, 45(2): 157-180.

[13]陈一民,李启明,马德宜,等.增强虚拟现实技术研究及其应用[J].上海大学学报(自然科学版), 2011,17(4): 412-428.CHEN Yimin， LI Qiming，MA Deyi，et al. A survey on augmented reality and its application[J].Journal of Shanghai University (Natural Science Edition) , 2011,17(4): 412-428.

[14]郭天太,王引童.虚拟现实技术与增强现实技术[J].机械制造, 2003,41(6): 7-9.GUO Tiantai, WANG Yintong. Virtual reality and augmented reality[J]. Machinery,2003,41(6): 7-9.

[15]MILGRAM P, KISHINO F. A taxonomy of mixed reality visual displays[J].IEICE Transactions on Information and Systems,1994,E77-D(12): 1321-1329.

[16]SERVÁN J, MAS F, MENÉNDEZ J L, et al. Using augmented reality in AIRBUS A400M shop floor assembly work instructions[J].American Institute of Physics, 2012,1431(1):633-640.

[17]LI S Q， PENG T， WANG J, et al.Mixed reality-based interactive technology for aircraft cabin assembly[J]. Journal of Mechanical Engineering, 2009, 22(3):403-409.

[18]WANG Y, JAYARAM U, JAYARAM S, et al. Methods and algorithms for constraintbased virtual assembly[J]. Virtual Reality, 2003,6(4): 229-243.

[19]PENG T, SHIQI L I, WANG J F, et al.Research on constraint proxy based virtual hand assembly[J]. Machinery Design & Manufacture,2009.