基于边云协同和增强现实的车间智能维修方法

刘长春,唐敦兵,张泽群,王 震,张林琦

(南京航空航天大学 机电学院,江苏 南京 210016)

0 引言

由于市场竞争日趋激烈,现代制造业面临着巨大的生存压力,迫使传统制造业不断改革升级[1]。在此基础上,物联制造车间中设备的数量和复杂性都在增加,更容易导致制造过程中出现故障和停机[2]。如何在生产过程中合理处理故障来缩短停机时间,降低制造成本并确保生产效率是物联制造车间管理过程中面临的难题。据资料显示,车间设备在生产过程中因故障造成的损失已占其生产成本的30%～40%[3]。然而,由于不当的维修方式造成的额外费用占据了故障设备维修总费用的三分之一[4]。

在传统维修中,维修人员主要以纸质维修工单和纸质维修说明书的形式,按照流程逻辑依次读取和理解文本信息来执行相应的维修工作[5]。然而,反复地读取和理解纸质工单并查询纸质维修说明书,容易使得维修人员受车间嘈杂环境影响而引起不当维修。为提高维修效率并降低维修过程中的不当维修概率,从而改善维修质量,研究直观可视化的维修表征方法代替传统纸质维修说明的形式,已经成为当前智能维修的一个重要方向。

随着工业物联网的发展,增强现实(Augmented Reality,AR)作为一项富有前沿创新性的技术,正逐渐应用于工业领域[6-7]。AR主要是指在真实环境中加入虚拟场景或相关信息,增强用户对真实场景的感知,以虚实结合的方式辅助操作人员[8]。WEBEL等[9]开发了基于AR技术的组装维修培训平台,可以指导技术人员通过AR技术快速组装维修复杂的机械产品。MICHALOS等[10]开发了一个支持AR的系统,以帮助工人更好地与车间中的机器人协作,该系统可以将装配过程可视化并实时更新,从而确保生产安全。为了解决装配过程中复杂信息存在可读性差的问题,李旺等[11]使用AR来可视化已建立的装配模型。为了提高设备维修的效率,YANG等[12]开发了减速机虚拟拆卸平台,可在优化拆卸顺序的指导下完成虚拟拆卸。KONSTANTINIDIS等[13]开发了一种基于AR的汽车行业智能辅助维修系统,将虚拟维修信息叠加在自然场景中,以辅助低技能操作员。为了解决变电站设备维修效率低的问题,ANTONIJEVIC等[14]开发了一种基于AR技术引导和远程协助的智能维修系统。因此,AR技术能够为车间设备维修带来新思路,从而实现维修操作的智能可视化辅助[15]。在增强现实完全集成到现代制造系统之前,AR在工业领域的应用仍有进一步研究的沃土。

但是,由于车间制造装备的种类多、体型大、内部零部件复杂精密,并且维修的场景通常位于车间现场设备内部,需给予指引[16],对于车间现场设备的辅助维修,需要实现车间现场待维修部件的快速定位和操作指示,对定位算法的计算能力和实时性有较高的要求。铙尊煜[17]针对ORB-SLAM2(oriented brief-simultaneous localization and mapping)算法在构建稀疏特征点地图时易读性较低的问题,运用实时构建稠密点云地图的方案,保证了构建地图的实时性,但是在地图的人机交互性方面性能不足。张阳等[18]采用ORB-SLAM2算法为水下机器人作业定位设计了方案,通过特征点提取和点云建模为水下机器人提供了实时定位。邱笑晨等[19]对ORB-SLAM的系统架构进行了分析,并通过研究约束条件和加速手段保证了系统定位的实时性。席志红等[20]通过添加稠密点云地图,实现了相机的位姿估计和重定位,可直接用于导航和路径规划。

上述文献中的定位算法均在拥有足够算力的台式工作站上运行,而可穿戴AR设备的轻量级计算能力难以支持维修场景中复杂的特征提取、空间位姿解算等功能。幸运的是,边云协同计算作为云计算的一种新的发展方向,其不仅可以提供云计算具备的强大算力和存储,还可以在边缘端进行实时灵活的部署[21-22]。

文献[23]针对头戴式AR设备在处理地理信息可视化方面存在计算能力有限的问题,提出了边云协同的AR空间分析计算框架,实现了在AR端完成地理信息可视化的同时还能处理复杂的地理空间计算问题。文献[24]针对变电设备数据处理时延大的问题,提出一种变电设备的边云协同服务方法,云端可以训练不同变电设备的算法模型,边缘端可以进行变电设备的边缘侧状态评价。文献[25]针对串行任务卸载算法在边缘端运行存在资源利用和资源效能的局限性,通过边云协同实现串行任务动态分配处理。文献[26]针对工业物联网数据的可靠存储及更新问题,提出了面向多任务场景下的边缘—云协同框架,通过建立总体时延问题模型,实现边缘—云的工作时间最小化,充分利用了云端以及边缘端的算力。由此可见,边云协同计算为可穿戴AR设备在车间现场维修环境中进行复杂的特征提取、空间位姿解算等需要强算力支持的功能提供了解决方案。

尽管已有研究在智能维修领域取得了一定的成果,具有一定的借鉴意义,但仍存在以下不足之处,值得进一步改进：

(1)已有研究多依赖于计算机进行维修信息的处理与可视化。然而,受限于AR技术的发展,目前可穿戴AR设备的轻量级计算能力难以支持高实时性的算法来实现维修场景中复杂的特征提取、空间位姿解算等功能。因此,本文提出AR端与云端进行边云协同计算的流程框架,在AR端处理人机交互信息和提供智能可视化维修辅助的基础上,构建工业AR云平台提供算力支持并将维修数据和维修经验进行持久化存储。

(2)虽然已有研究中的ORB-SLAM2定位算法实时性高,但该算法严重依赖特征点的提取和匹配,在具有丰富纹理的维修场景中运行将无法获得足够稳定的匹配点对,从而导致系统位置和姿态跟踪丢失。为此,基于信息熵阈值的锐化调整算法被用来改进ORB-SLAM2的算法性能。通过在云端运行改进的ORB-SLAM2算法,实现计算量大、精度高的特征提取、位姿解算任务。

(3)由于车间设备结构呈现复杂化趋势,且缺乏直观可视化的维修表征方法,使得传统维修工作存在效率低、操作易出错等难点和限制。本文将研究基于可穿戴AR设备的维修系统,辅助完成车间设备、待维修部件等的识别,并根据故障类型匹配维修经验知识库中的维修操作,从而提供可视化的维修指导流程,帮助普通运维人员快速上手维修工作。在实际工程应用中,维修经验知识库难以涵盖所有故障类型,针对未知故障及其引起的“疑难杂症”,本文设计了AR远程专家系统,维修人员配备可穿戴AR设备后,可以与远程专家在线沟通,排除故障根源并协助解决故障,提升维修的成功率。

1 基于边云协同和增强现实的车间现场智能维修框架

基于边云协同和增强现实的车间现场智能维修方案框架如图1所示,集数据管理、人机交互、设备信息全息展示、算法分析集成管理和远程协助于一体,运行流程如下：

图1 基于边云协同的车间现场AR智能维修实施框架

(1)云端工作流程 云端由数据管理模块、应用服务模块和用于维修指引的算法在线分析模块组成,其中数据管理模块进行车间运行环境数据和维修案例资源的存储,应用服务模块提供GPU计算、Web应用服务、数据读取保存调用以及远程专家系统的接口等,算法在线分析模块依赖云端的强大算力提供特征点提取匹配、三维注册跟踪以及位姿解算等服务。

(2)AR边缘端工作流程 首先,AR边缘端从云端调用车间环境数据,通过点云数据导入、3D Max切片、模型导出等实现AR三维模型的生成并完成维修场景的构建。然后,通过获取实时交互数据来建立虚实映射关系,利用Unity软件和Vuforia包完成手势操作、语音操作以及三维引导等人机交互功能的开发。最后,通过Visual Studio软件对辅助维修场景与人机交互内容等进行编译并部署在增强现实设备上,完成部署后的AR边缘端可以将待维修部件的信息和维修步骤说明映射到真实维修场景中。

(3)边云协同计算流程 AR端与云端通过HTTP协议实现实时可视化模型与云端数据的连接、交互数据获取传输、维修需求获取和维修操作指导等。AR边缘端主要作为感知入口,采集音视频、位姿等数据,负责处理维修期间的人机交互信息。基于边云协同技术,数据的存储与处理均在云端执行,可以实现可穿戴AR设备在有限计算资源的情况下完成复杂的特征提取、位姿跟踪等操作,为后续辅助维修环节提供精准可靠的指引。同时,配备可穿戴AR设备的维修人员与远程专家系统之间通过WebRTC协议可以实现远程运维功能。

2 用于辅助维修的移动增强现实注册跟踪算法

2.1 基于改进的ORB-SLAM2注册跟踪算法框架

为了实现虚拟维修操作信息和真实车间场景的无缝叠加,利用改进的 ORB-SLAM2算法,进行维修部件快速定位与指引。改进的ORB-SLAM2注册跟踪算法的整体流程框架如图2所示,主要由特征提取点提取,地图坐标系构建及转换和全局位姿解算3个部分构成,主要流程如下：

图2 基于改进ORB-SLAM2的维修部件注册定位方法流程

(1)特征点提取 系统首先接受来自相机的一系列图像序列,初始化后将图像帧传递给跟踪模块的线程,在该线程的图像中提取ORB(oriented brief)特征。改进后的算法在跟踪线程中ORB特征检测前的图像预处理部分加入了基于信息熵阈值的锐化调整。

(2)地图坐标系构建及转换 根据规则确定关键帧后,通过关键帧和地图点维护实现关键帧插入。通过相机位置矩阵将SLAM世界坐标系对应到维修场景中,实现完成局部地图的构建。

(3)全局位姿结算 通过目标三维点坐标与控制点坐标的转换计算,将位姿估计问题转换成最小二乘问题,并用高斯—牛顿优化EPnP位姿误差目标函数,实现高精度的位姿求解功能。

2.2 基于锐化调整和自适应信息熵的ORB特征提取方法

(1)ORB锐化调整算法

ORB算法在通过加速分段测试特征(Features from Accelerated Segment Test,FAST)提取算法确定图像的特征点之后,需要采用二元鲁棒独立的基本特征(Binary Robust Independent Elementary Features,BRIEF)提取算法将这些特征点以某种方式描述出来,用来区分对象之间的差异。BRIEF算法就是一组由二进制组成的特征描述符,首先确定特征点p的邻域范围,选取n对像素点x和y,通常而言,n取256,通过式(1)的τ操作计算出每一对的值,然后通过式(2)算出特征点p的特征描述符f(p)。最后,输入一个相似度阈值,通过对图像特征描述符的异或操作,可以计算出两者特征描述符的相似度,以此判断是否匹配成功,计算过程如下式所示：

(1)

(2)

其中：p为当前的特征点,p(x)为p在点x处的灰度值,p(y)为p在点y处的灰度值。因为BRIEF算法不具备旋转不变性,即图像发生旋转后,不会改变原有的坐标系,所以选取出来的像素对也是不同的,对象特征描述符相应发生了改变,但本质上还是同一个对象。ORB采用了强度质心的方法来测量对象旋转的角度变化,即假设一个物体沿中心旋转了某个角度,旋转后重新建立坐标系,保证坐标系与对象旋转的角度相同,从而保证了选取像素对的一致性。根据质心在旋转过程中的变化可以确定旋转的角度,从而更新坐标系,具体的计算公式如下：

(3)

(4)

(5)

(6)

其中：p和q分别表示二维图像的边界,I(x,y)表示在坐标(x,y)处的灰度值。

在AR可穿戴设备的图像传输和转换过程中,图像的清晰度会有所降低。因此,引入图像锐化,目的是使图像的边缘和轮廓清晰,增强图像的细节。在空间域采用高通滤波(二阶微分)的方法,并使用拉普拉斯算子对图像的每个像素进行卷积运算,以增加像素之间的方差,从而可以实现清晰图像的呈现。如果卷积的变量是序列x(n)和h(n),则卷积的结果为：

(7)

分割后的图像块的卷积操作实际上就是利用卷积核在图像上滑动。利用像素灰度值乘以对应卷积核上的值,并将所有相乘的值作为卷积核中间像素对应的图像上像素的灰度值相加。因此,卷积函数的表达式如下：

(8)

式中：anchor为内核的参考点;kernel为卷积核,这里的卷积模板是Laplacian变体算子的矩阵形式,其使用图像的二阶导数信息,是各向同性的,具体表达式如下所示：

(9)

(2)自适应信息熵融合算法

在特征点的提取中,信息熵反映了局部图像中包含的纹理信息丰富度或图像像素梯度变化程度。信息熵值越大,图像纹理信息越丰富,图像像素梯度的变化越明显,信息熵计算公式如下：

(10)

式中p(xi)是图像中灰度为i(i=0,…,255)的像素的概率。概率越接近1,信息的不确定性越小。若图像中包含的信息量用信息熵表示,则m×n大小的图像的熵值定义如下：

(11)

(12)

然而,由于信息熵的数量与场景密切相关,不同场景中的不同视频序列具有不同的信息丰富度,不同场景的信息熵阈值也必然不同。在每个不同的场景中,需要反复实验,多次设置信息熵阈值进行匹配计算,得到对应的阈值。但是,不同场景下的阈值差别很大。因此,阈值不具有通用性,会影响图像预处理和特征提取,这将导致无法快速获得更好的匹配结果。针对以上问题,提出了一种信息熵阈值自适应方法,根据不同场景调整阈值,公式如下：

(13)

式中：H(i)ave为该场景中信息熵的平均值,可以通过获取第一次运行场景视频中每一帧的信息熵除以帧数得到;i为视频序列的帧数;δ为校正因子。经过反复实验,校正因子δ=0.5时,效果最好。通过式(13)计算出的E0即为场景的信息熵阈值。

2.3 维修场景地图坐标系构建与转换方法

在跟踪过程中可通过相机位置矩阵将SLAM世界坐标系对应到维修场景中,实现实时的视点跟踪过程。设定虚拟场景内目标点的世界坐标为PN(XN,YN,ZN),设定可穿戴AR设备上的相机坐标为PM(XM,YM,ZM),则存在旋转矩阵R和平移向量t,使得PM=RPN+t。因此,世界坐标系和相机坐标系的映射关系如下：

与重力场特征相似，航磁异常总体上亦呈近EW向展布(图3)，反映本区近EW向的基底构造；宏观上亦分为3个NWW向的航磁异常带，即中部高磁异常带、北东部相对低磁异常带和南西部低磁异常带，分别代表中部沉积岩地层、北东部宝山岩体和南西部大东山及高山岩体3个地质背景区。其中中部高磁异常中心位于龙归一带，ΔT最大-60nT以上，往南、北两侧逐渐变低，负异常最值出现于测区西南角，ΔT最小-150nT以下，出露地层为大东山岩体，负异常中心地带均对应已出露的岩体，说明区域负磁异常主要为岩体引起[14-16]。

(14)

式中：R表示3×3正交单位矩阵,t=(tx,ty,tz,1)T为单位平移向量,O=(0,0,0,0)T。

设定像素坐标系中的目标点坐标为(μ,γ),设定像素坐标系的原点为(μ0,γ0),相机坐标系和像素坐标系的映射关系如下：

(15)

式中：fx=α·f,fy=β·f,α表示像素的水平尺寸,β表示像素的竖直尺寸,f表示可穿戴AR设备相机的焦距。结合式(14)世界坐标系和相机坐标系之间的转换关系,可得目标点像素的坐标为：

(16)

已知相机内参矩阵、外参矩阵和目标世界坐标,即可通过式(16)求得目标在相机的成像位置(μ,γ)。通过将真实相机的内参复制到虚拟维修场景中的相机内参,即可完成增强现实设备的相机注册过程。

2.4 基于高斯—牛顿优化的EPnP全局位姿解算方法

为进一步提高姿态解算结果的精度,将姿态估计问题转化为一个最小二乘问题,然后通过高斯—牛顿法优化高效多点透视成像(Efficient Perspective-n-Point,EPnP)方法中的最小二乘求解问题。基于高斯—牛顿优化的EPnP全局位姿解算方法能够根据目标的三维坐标及在关键帧中的二维成像,计算移动设备相机的位姿。EPnP方法用4个控制点的齐次线性组合来表示目标三维点,目标三维点坐标和控制点坐标的转换关系如下所示：

(17)

(18)

(19)

(20)

将n个点串起来,得到一个线性方程组,如式(21)所示：

Mx=0

(21)

(22)

式中：Vi是M的N个零特征值对应的特征向量,对于第j个控制点：

(23)

(24)

3 实验与分析

3.1 实验环境介绍

(1)实验验证环境

为了测试所提出的基于边云协同和增强现实的车间现场智能维修方法的性能,在位于中国无锡的典型机加工车间进行了实验。如图3所示为物联制造车间真实场景,其中机床的内部数据可通过数据采集与监视控制(Supervisory Control and Data Acquisition,SCADA)系统、工控机等获取,包括主轴驱动数据、刀具数据、进给驱动数据、运行状态数据等。机床的外部数据可以通过声发射传感器等各种感知设备获取,包括温度信号、振动信号、电流信号等。维修人员和自动导引运输车(Automated Guided Vehicle,AGV)的定位数据通过超宽带(Ultra Wide Band,UWB)技术进行获取。此外,维修人员通过配备AR眼镜获取实时的生产状态信息、故障信息以及维修信息等。

图3 物联制造车间实验验证环境

(2)实验开发环境

实验所涉及的开发环境如表1和表2所示,AR边缘端采用增强现实设备Microsoft Hololens2和一台工作站,AR边缘端用于音视频数据、位姿、手势操作等数据采集,工作站用于车间环境建模、AR人机交互开发和AR辅助维修应用部署等。云端采用阿里云服务器,主要进行AR边缘端所采集的维修场景数据的存储和处理,进行特征提取、位姿解算等运算操作,并将运算结果反馈给AR边缘端。

表1 AR边缘端实验开发环境

表2 云端实验开发环境

3.2 云边协同服务平台搭建

为了能够通过边云协同计算框架快速计算可穿戴AR设备的位姿,提供实时维修指引的信息,搭建了如图4所示的云边协同服务平台。该云平台可以添加运维人员的信息并生成二维码,可穿戴AR设备通过扫描二维码实现与运维人员的绑定,以便将维修信息推送给合适的运维人员。此外,该工业AR云平台集成了特征提取、位姿估计等算法的参数设置与运行分析,并将运行结果实时反馈给AR可穿戴设备。如果遇到“疑难杂症”,运维人员无法解决时,可以在AR端请求远程专家协助。远程专家在云端接受请求后,即可实现故障设备“远程问诊”,提供维修建议与策略,辅助运维人员完成维修任务。因此,工业AR云平台成为了云端和AR边缘端实现边云协同计算的桥梁和纽带。

图4 工业AR云平台运行流程

3.3 注册跟踪性能测试

(1)特征点检测与匹配测试结果与分析

由于所提出的智能维修方法在指导维修时的视点跟踪需要实时进行,通常需保证15帧以上的帧率(即1秒15帧以上,1帧最多占用66 ms的时间),这就要求特征提取时间与特征匹配时间之和小于66 ms。为了体现ORB特征提取的优势,引入常用的图像特征提取方法SIFT(scale-invariant feature transform)算法[27]和SURF(speeded-up robust features)算法[28]进行对比实验。

选取同一张车间机床待维修部件的图像,分别运行SIFT、SURF、ORB和改进后的算法进行特征点提取对比测试,特征提取测试数据如图5所示,并将测试结果汇总至表3中。为了在维修场景中验证不同算法特征点匹配的性能,选取相邻两帧车间机床待维修部件的图像,分别运行SIFT、SURF、ORB和改进后的算法进行特征检测与匹配。特征检测与匹配测试数据如图6所示,并将测试结果汇总至表4中。检测到的特征点在图中以圆点形式呈现,能够完成匹配的特征点在图中以直线连接的形式呈现。

表3 各特征算子对图像特征的提取结果汇总

表4 特征点检测与匹配测试结果汇总

图5 图像特征提取数据

图6 特征点检测与匹配数据

由表3和表4可见,ORB算法的特征提取与匹配时间之和明显优于SIFT算法和SURF算法。由于基于边云协同技术的车间现场AR智能维修对计算实时性要求非常高,因此ORB算法相对于SIFT算法和SURF算法更为适合。由表4可知,在追求计算高实时性的同时,改进ORB算法的特征匹配效果优于原始ORB算法。这表明通过加入信息熵筛选和锐化过程改进原始ORB算法后,可以有效增加匹配对数,提高图像特征检测和匹配的准确性,为后续的跟踪、映射、环路检测等过程提供了更加准确和有效的功能。

(2)位姿解算测试结果与分析

为了验证基于高斯—牛顿优化的EPnP位姿解算方法的优势,取实验场景中不相邻的200帧图像作为测试样本,分别求解优化的EPnP和未优化的EPnP位姿估计结果,分别如图7a和图7b所示。图中圆点表示真实位姿,三角形点表示估计位姿,对比图7a和图7b可知,图7b中的位姿估计结果和真实值重合度明显高于图7a。为了进一步验证优化后的EPnP位姿解算方法的精度,将优化前和优化后的EPnP位姿估计结果误差进行了比对,位姿解算误差对比结果如图8所示。由于将基于EPnP的位姿估计问题转化为一个三变量最小二乘问题,然后通过高斯—牛顿法求解该最小二乘问题,试验结果表明优化后的EPnP位姿解算精度在200个测试样本上均优于未优化的EPnP位姿解算方法。

图7 位姿解算结果

图8 位姿解算误差对比

3.4 基于改进的ORB-SLAM2跟踪结果分析

为了验证相机实时位置跟踪的性能效果,在3个不同时刻对相机的位置跟踪进行了测试,如图9所示。图9a是相机初始时刻的位置,图9b是相机经过平移后所处时刻的位置,图9c是相机在图9b的基础上旋转90°后所处时刻的位置。从图中可以看出,未存在位置跟踪丢失的情况,表明改进后的ORB-SLMA2算法可以支撑可穿戴AR设备在车间现场的实时智能维修,为维修人员提供维修信息的精确虚实映射。

a a时刻相机位置跟踪结果

b b时刻相机位置跟踪结果(水平移动)

c c时刻相机位置跟踪结果(旋转90°)图9 可穿戴AR设备的相机实时位置跟踪结果

3.5 增强现实维修指引实验验证

(1)基于本地维修经验知识库辅助维修已知故障

发生故障时,基于边云协同和增强现实的车间现场智能维修系统会先在维修经验知识库中匹配是否存在已知故障的维修方式。若存在相似的维修经验知识,则会进行相应的维修指引操作。以刀具故障为例,如图10所示,维修人员首先通过扫码的方式识别故障设备,以便系统记录该设备已有维修人员到场维修,图中每张子图的主图为AR第一人称视角,左上角图为第三人称视角。随后,AR可穿戴设备辅助维修人员从刀具库中挑选待更换的刀具并进行三维模型高亮显示。紧接着,在需要维修更换的部件位置处也会进行三维模型指引,并辅助维修人员完成新刀具的更换工作。最后,在新刀具更换完成后,虚拟的辅助对刀提示会映射到维修人员的视野中,辅助维修人员完成对刀操作。

图10 增强现实辅助维修—已知故障解决方法

(2)基于远程专家系统辅助维修未知故障

在实际工程应用中,维修经验数据库很难包含所有预期故障。因此,在远程专家的帮助下可以解决未知根源的故障,从而实现AR远程维修。如图11所示,维修人员可以先通过AR远程应用与远程专家进行连接。在应用中,专家和维修人员可以进行实时通讯、故障点标记等操作,找到故障根源。故障解决后,可将此次突发故障的维修经验存入维修经验库,以备日后发生类似故障时参考。远程专家系统避免了等待国内外专家到达维修现场,而浪费大量宝贵的生产时间。尤其在当前的全球新冠疫情的环境下,对运维人员和国内外专家人身安全起到一定的保护作用。

图11 AR远程专家—未知故障解决方法

4 AR辅助维修和边云协同技术优势分析

为了进一步验证所提车间现场智能维修方法的有效性,本章分别从AR辅助维修优势和边云协同计算优势两方面进行阐述,深度剖析增强现实和边云协同计算技术在车间现场智能维修的可行性与优越性。

4.1 AR辅助维修优势分析

为了验证AR在车间现场智能维修中的突出优势,对不同的维修方式进行了对比,如表5所示,表中所包含的3组维修实验依次对应简易、中等、复杂维修任务。其中,将维修时间作为维修效率评价指标。为了直观地评价维修质量,引入可靠度来描述本次维修至机器发生相同故障之间的持续时间。

表5 不同维修方式的实验结果统计

对于有经验的工人：在实验组1中,由于维修任务简单,AR智能维修虽然并未显著提升有经验的工人的维修效率,但是维修的可靠度得到了提升,从而避免有经验的工人由于维修任务简单而遗漏维修细节。在实验组2和实验组3中,由于维修任务复杂,AR智能维修可以帮助有经验的工人提高维修可靠度,进而表明能够提升维修质量。同时,AR智能维修也使得有经验的工人的维修效率得到了提升。

对于无经验的工人：AR智能维修对无经验工人维修能力的提升十分显著,尤其在复杂维修任务的实验组2和实验组3中,无经验工人在AR智能维修的辅助下,维修时间显著减少,维修可靠度近乎接近有经验工人维修的效果。因此,所提出的AR智能维修既可以帮助无经验工人提高维修效率,减少维修导致的停产时间,还可以提高维修质量。另外,所提方法有利于企业提升新员工的综合素质能力,减少培训时间。

4.2 边云协同计算优势分析

为了评价基于边云协同和增强现实的车间现场智能维修系统的流畅性以及性能表现,在实验环节中实时追踪了Microsoft Hololens2的性能状态。在运行该系统后,全程追踪实施辅助维修时增强现实设备的性能状态。由图12a可以看出,因为特征提取、位姿估计等算法运行于云端,所以GPU的利用率很平稳,主要用来将虚拟维修信息映射到实际空间中的指定位置,因此可视化流畅程度基本不变。由图12b可以看出,由于维修过程中,涉及到不同的操作,维修人员会频繁地与AR设备进行交互,导致CPU利用率存在一定波动。但是,由于数据的存储与处理均在云端执行,因此只会调用AR端很少的CPU资源进行人机交互。基于上述分析,基于边云协同技术,实现了Microsoft Hololens2在有限计算资源的情况下完成了复杂的特征提取、位姿跟踪和维修指引等操作。

a 运行时的增强现实设备GPU利用率

5 结束语

针对车间现场维修人员效率低、可靠性差,提出基于边云协同和增强现实的车间现场智能维修方法。AR 端完成车间现场故障设备维修数据的可视化、维修操作涉及的人机交互等计算量较轻且实时性较高的任务;云端则完成计算量较大的特征提取、位姿解算任务以及维修数据的持久化存储(包括设备的故障数据以及对应维修方法的存储)。在工人执行故障设备维修操作的过程中,通过边云协同可以实时解算增强现实设备在车间维修现场中的位置和朝向,以将待维修设备信息、故障部件和维修步骤高亮标注在车间维修现场。根据维修经验库存储的维修步骤指引维修人员执行对应的维修操作,有效提高了维修效率和可靠度。对于未知根源的故障,可以通过增强现实设备连接云平台端的在线远程专家,专家会协助找出故障根源并给出解决方案。在维修完成后,此次维修步骤将被存储至维修经验库,以便未来相同故障出现时调取使用。在后疫情时代,AR远程专家系统更加能凸显车间制造设备远程维修的重要性。与此同时,本研究也表明基于边云协同和增强现实的车间现场智能维修与维修复杂度和维修人员的经验紧密相关,对于经验缺乏的维修人员,增强可视化维修指引效果显著,这可以帮助企业减少新员工的培训时间。对于维修复杂度高的任务,所提方法既可以有效提高维修效率,又可以在一定程度上提高维修的可靠度,避免相同故障短期内再次发生。

大型制造车间现场维修会涉及多并发的情况,即多个维修任务同时发生。未来的研究可以利用边云协同计算技术,进一步在云端部署强化学习调度算法,结合增强现实设备和维修人员属性,从而根据维修任务类型调度合适的维修人员去处理,从更系统的角度去评定增强现实设备以及边云协同计算在车间现场维修中的指引和促进作用。