基于视觉的大尺度部件相对位姿实时测量方法研究*

时间：2024-07-28

（北京航空航天大学机械工程及自动化学院，北京 100191）

飞机、船舶、卫星等大尺度机械产品，由于其结构复杂，几何尺度较大，大多采用分段分舱制造的方式，最终将各分段对接装配而成[1]。在装配过程的最终阶段，各部件尺度大，同时要求较高的对接精度，工艺难度大，是大尺度机械产品装配过程中的关键环节。在大尺度产品的最终对接过程中，相对位姿是一个重要的监控项，可为部段对接提供有效的数据支撑，辅助装配作业的进行。因此，高精度的实时相对位姿测量方法在大尺度装配这一工业场景具有重要意义。

目前常用的大尺度位姿测量设备包括全站仪、激光跟踪仪、iGPS、三坐标测量机和视觉测量系统等。全站仪、激光跟踪仪[2]、iGPS[3]等测量设备具有测量范围大、测量精度高等优点，但在位姿测量时需逐一获取各测点坐标，测量效率相对较低，并且在大尺度部件装配的场景下，需通过转站以覆盖完整测量场。三坐标测量机[4]结构稳定，具有很高的测量精度和重复性，但其测量范围有限，不适用于大尺度装配场景。

基于视觉的相对位姿测量方法结构简单，装置安装方便灵活，测量精度高，同时具有较好的实时性。中国科学院的赵汝进等[5]提出了一种基于直线特征的单目视觉位姿测量方法，利用新颖的匹配评价函数，提高了位姿解算的精度和鲁棒性。北京理工大学的蔡晗[6]提出了基于双目视觉的非合作目标相对测量方法，利用综合匹配的方法解算相对位姿。哈尔滨工业大学的刘俊[7]利用物体的CAD模型，通过图像金字塔和层次聚类结合的方法实现基于单目视觉的目标识别与位姿估计。中国科学院大学的王煜睿[8]提出了基于比例预测的精度提升网络模型，通过比较物体三维模型渲染图像和真实图像的差异优化位姿估计结果，提升了算法的鲁棒性和泛化能力。Kehl等[9]在快速物体检测网络架构（Single shot multiple–box detector，SSD）的基础之上，进一步完善了目标位姿的损失函数，同时在训练数据中增加了虚拟样本，在PASCAL数据集上得到了较高的位姿估计精度。Li等[10]提出了迭代匹配深度神经网络（Deep iterative matching，DeepIM）用于解算物体的位姿，该方法需要首先获得一个目标位姿的初始估计，通过匹配虚拟空间图像与实物图像优化位姿估计结果。

针对大尺度装配的具体工业场景，本文提出了一种基于单目视觉的相对位姿实时测量方法。采用基于合作目标的位姿测量方法，保证测量系统的精度和稳定性。设计了一套可独立工作的视觉测量系统，包含若干对视觉测量单元和合作靶标，视觉测量单元固定在调整部段上，合作靶标固定在基准部段上，视觉系统采集靶标图像，实时解算部段间的相对位姿，并通过无线传输的方式将测量数据返回。后端接收各测量单元的位姿测量结果，通过多源数据融合算法，解算大尺度部件的实时相对位姿。在实验室环境下对相对位姿实时测量系统进行测试，验证其精度和实时性。

相对位姿实时测量系统构建

基于视觉的大尺度部件相对位姿实时测量系统框架如图 1所示。系统可分为应用层、算法层、信息层与物理层4个层次。应用层将测量过程分为相机参数标定、安装参数标定、实时位姿测量和系统精度评价4部分。算法层给出了位姿测量系统涉及的所有算法。信息层包含了整个系统所涉及的数据，包括标定参数、实时采集图像信息和实时解算的位姿结果等。物理层为测量系统所包含的硬件，包括视觉测量单元、合作靶标和上位机。其中，视觉测量单元安装在调整部段上，合作靶标安装在基准部段上，上位机以无线通信的方式调度视觉测量单元工作，接收实时测量数据。

基于视觉的大尺度部件相对位姿实时测量系统由合作靶标和视觉测量单元共同组成。其中，合作靶标固定在基准部段上，视觉测量单元固定在调整部段上。视觉测量单元与合作靶标对应布置，保证合作靶标在视觉测量单元的视场范围内。对于刚性较好的部件，满足刚体假设，利用一组视觉测量单元即可满足位姿测量需求。对于刚性稍差的大尺度部件，无法满足刚体假设，则可采用多组视觉测量单元联合测量的方法。如图 2所示，在调整部段上设置3组视觉测量单元，两组视觉测量单元布置在对接端面上，一组视觉测量单元布置在调整部段尾端底面的中心线上，完整覆盖整个测量场。

图1 基于视觉的大尺度部件相对位姿实时测量系统框架Fig.1 Vision–based real-time measurement system framework for relative pose of large–scale components

图2 相对位姿实时测量系统的组成Fig.2 Composition of real-time relative pose measurement system

视觉测量单元结构如图 3所示，硬件组成包括工业相机、处理器、无线通信模块等。工业相机是前端的传感单元，实时采集图像，并传输至处理器。处理器接收来自工业相机的图像，实时解算相对位姿，并通过无线通信模块将位姿解算结果传输至上位机。处理器具有独立的供电模块，因此视觉测量单元可独立工作，无需额外的线缆，安装灵活，具有较强的便携性。视觉测量单元底板上具有4个定位孔，方便安装在待测部段上；同时具有4个标定孔，便于标定视觉测量单元的安装位置。图4为视觉测量单元实物图。

视觉测量单元的数据处理单元是嵌入式开发板，搭载四核Cortex–A57处理器，128核Maxwell GPU及4GB LPDDR内存，能够为位姿解算提供足够的算力。工业相机辨率为2592×1944，帧率为14fps，采用1/2.5’CMOS传感器，像素尺寸为2.2μm×2.2μm，满足位姿解算的精度要求。

系统标定与位姿解算

1 系统标定方法

1.1 相机内参数标定

相机内参数标定是一切视觉测量系统的基础。

针孔相机模型是最常见的表示相机成像原理的数学模型，如图 5所示。二维像点p（x,y）与对应的三维物点P（XW，YW，ZW）之间关系满足以下关系式：

图3 视觉测量单元组成Fig.3 Composition of visual measurement unit

图4 视觉测量单元实物图Fig.4 Physical image of visual measurement unit

其中，Mc为相机内参数矩阵，表征相机坐标系到像素坐标系的转换关系；而（R | T）为相机外参数齐次矩阵，即相机位姿，表征相机坐标系相对于世界坐标系的转换关系。在已知相机内参数矩阵的前提下，通过采集已知目标的图像，建立若干特征点的三维空间坐标及其对应的二维像素坐标的映射，即可求解得到相机位姿。因此，相机标定将直接影响位姿测量的精度。

利用张正友相机标定法[11]，通过在不同姿态下采集已知尺寸标定板的图像，能够快速准确地实现工业相机内参数矩阵的标定。

1.2 手眼参数标定

为确定相机坐标系与相机基座坐标系之间的转换关系，还需要进行手眼标定的工作。

手眼标定常用于机器人视觉，是为了确定相机（眼）相对于机械臂（手）的位姿转换关系，本文利用同样的方法确定相机坐标系与相机基座坐标系的位姿转换关系。

手眼标定可以用式（3）简洁地表示：

图5 相机标定中的针孔相机模型Fig.5 Pinhole camera model in camera calibration

其中，A表示相机移动前后位姿变换矩阵；B表示机器人移动前后的机器人末端执行机构坐标系的变换关系；X表示机器人末端执行机构坐标系到相机坐标系地转换矩阵。

设相机在两个不同位置时，pc1、pc2分别表示两相机坐标系下的点，pe1、pe2分别表示两机器人末端坐标系下的点，则有如下关系：

相机坐标系到标定物坐标系的转换关系可由PnP算法计算得到，设N1、N2分别为相机在两个位置相对标定物的外参数矩阵（标定物固定），po标定物坐标系下的点，则有

机器人末端执行机构坐标系与机器人基座坐标系的转换关系可以由机器人系统的控制面板读取，设E1、E2分别为机器人末端执行机构在两个位置机器人基座的坐标转换关系（机器人基座固定），pb为基座坐标系下的点，有

由式（10）、（11）可以得到

将相机固定于机械臂执行机构的末端，在场景中固定一个标定板，控制机器人使相机在不同位姿采集标定板图像，同时记录该位置下机器人面板的示数。为了取得更好的标定结果，数据采集过程视点需分布在以标定板为中心的半球上。在每个位置，由视觉系统可求取相机相对于标定板的相对位姿，由机器人面板可知相机基座相对于机器人坐标系的相对位姿，采集若干图像，可将该问题转化为AX=XB的最优化问题，综合求解得到相机坐标系与相机基座坐标系之间的转换关系。

2 相对位姿实时解算方法

2.1 图像靶点提取

视觉单元实时采集合作靶标图像，为求取位姿，首先应提取靶点，即合作靶标上6组同心几何图形的中心。

合作靶标如图 6所示。该靶标包含5组同心圆环和一组同心正方形。靶标呈不对称式分布，避免位姿解算出现多解的情况。同心几何图形的设计使合作目标与环境中的其他几何特征区分，并且可通过多次测量取平均值的方法提高靶标提取的精度。

视觉测量系统采集到靶标图像之后，首先需要提取靶标上的6个靶点坐标。

图像靶点提取算法如下：

（1）图像预处理操作，通过滤波算法去除图像的噪声；

（2）对图像进行二值化处理；

（3）提取所有轮廓，并按其包含关系将其存储为树形结构；

（4）以深度遍历方式检索存在连续4层轮廓的轮廓组，同时按照轮廓两两面积比进行二次筛选；

（5）提取轮廓求取重心，得到6个靶标中心点的像素坐标。

提取得到6个靶点的像素坐标后，需将6个靶点按照预先设计好的规则进行排序。称圆形靶标点为普通靶标点，正方形靶标点为特殊靶标点。规定靶点排列顺序如下：以特殊靶标点为起始，按逆时针方向排列各个靶标点坐标。靶点排序算法的主要步骤如下：

（2）计算Pc到特殊靶标点Ps的向量，以此作为参照，根据所有普通靶标点Pi（i=2，3，…，N）到Ps的向量，求出PcPs与夹角θi=cos-1（i=2，3，…，N）；

（4）根据θi从小到大对点Pi（i=2，3，…，N）进行排序，最后将点Ps合并入Pi，得到与三维坐标点顺序一致的二维坐标点序列。

2.2 相对位姿解算

根据空间三维点与成像平面二维点的对应关系求解相机的位置与姿态（即相机的外参数）的问题，被称为透视n点投影问题，也就是人们所熟知的PnP（Perspective–n–points）问题[12]。PnP问题讨论的是，基于待测物的n个在三维空间坐标系内相对位置关系确定的点，根据相机采集到的待测物的图像信息，计算相机相对于待测物的相对位置与姿态。PnP模型是在已知相机内参的情况下讨论的问题，给定条件是空间内的n个已知坐标系的点与其对应的图像坐标系下的投影点，求解目标是相机的外参数矩阵M，包含一个旋转矩阵R与平移矩阵T。

图6 合作靶标设计Fig.6 Cooperative target design

相对位姿解算流程如图 7所示。PnP算法需要的内参数包括相机内参数和靶标点在世界坐标系下的三维坐标，可分别通过相机标定与靶标点标定得到。相机实时采集图像，通过靶标提取算法得到各靶点在像素坐标系下的二维坐标，将靶点在像素坐标系下的二维坐标与其在靶标坐标系下的三维坐标一一对应，建立PnP模型，利用EPnP方法求解，由此得到相机坐标系相对靶标坐标系的相对位姿。

3 多源数据融合方法

若大尺度部件在对接过程中具有较好的刚性，可视为一个刚体，那么一组视觉测量单元和靶标即可满足对接过程中的位姿测量需求。但在实际对接过程中，由于部件尺度较大，仅能满足局部刚体假设，因此需要多对视觉测量单元与靶标联合测量，以完整覆盖测量域，得到更为准确的实时位姿测量结果。

大尺度部件装配的视觉测量场景中，包含多个坐标转换关系。以3组视觉测量单元、靶标的情况为例，详细说明测量场景的坐标转换关系，其他情况同理。

定义如下6个坐标系：调整部段坐标系、基准部段坐标系、相机基座坐标系、相机坐标系、靶标基座坐标系、靶标坐标系。如图 8所示，其中实线表示两个坐标系固连，虚线表示两个坐标系无相对约束。

基准部段坐标系与调整部段坐标系是两个对接部段的坐标系，它们之间的相对位姿转换关系是测量系统的目标输出量。

图7 相对位姿解算算法流程Fig.7 Relative pose calculation algorithm flow

视觉测量单元安装在调整部段上，因此相机坐标系、相机基座坐标系、调整部段坐标系彼此之间的转换关系在对接过程是保持不变的，它们之间的坐标转换关系可以通过预先的标定工作确定。其中，相机坐标系和相机基座坐标系之间的转换关系可以通过手眼标定方法解算得到，而相机基座坐标系和调整部段坐标系之间的转换关系可以利用激光跟踪仪等高精度测量设备标定。

同理，靶标坐标系、靶标基座坐标系和基准部段坐标系三者之间的转换关系也是固定不变的。定义靶标坐标系和靶标基座坐标系重合，靶标基座坐标系与基准部段坐标系之间的转换关系同样可通过激光跟踪仪等设备进行标定。

因此，在基准部段与调准部段之间的位姿链中，仅有相机坐标系与靶标坐标系之间的转换关系是未知的。在对接过程中，相机与靶标的相对位姿在不断变化，相机采集靶标图像，按照相对位姿实时解算方法，可实时解算靶标坐标系相对相机坐标系的相对位姿。

得到3组视觉测量单元返回的位姿测量结果后，选取全局特征点，对各视觉测量单元的测量结果进行融合，得到相对位姿。一般选取全局特征点为各靶标上的靶标点。通过靶标坐标系–靶标基座坐标系–基准部段坐标系的位姿链，可将所有靶标点坐标转换到基准部段坐标系下，通过靶标坐标系–相机坐标系–相机基座坐标系–待装部段坐标系的位姿链，可将所有靶标点坐标转换到调整部段坐标系下。由此，得到了靶标点在基准部段坐标系与调整部段坐标系下的坐标，利用最小二乘法即可求解调整部段相对于基准部段的相对位姿。

试验与分析

1 系统标定

任何测量系统在使用之前都需要进行标定，标定精度将直接影响测量系统的整体精度。

采用张正友标定法对相机进行标定。固定相机，将标定板置于相机视场内，变换标定板的姿态采集多张图像，综合求解得到相机内参数矩阵和畸变系数：手眼标定试验场景如图 9所示。将测量单元固定在KUKA机器人的执行机构末端，在环境中固定一个标定板，控制KUKA机器人在不同视点下采集靶标板的图像，同时记录机器人当前的位姿。试验过程中，保证相机视点大致分布在以标定板为球心的半球上。

图8 相对位姿测量系统坐标关系Fig.8 Coordinate relation of relative pose measurement system

手眼标定试验结果如下：

x=20.539mm

y=–7.830mm

z=184.978mm

Rx=–0.020°

Ry=0.001°

Rz=–1.582°

2 单测量单元试验结果分析

在实验室环境下搭建模拟装配场景，如图 10所示。其中，视觉测量单元固定在KUKA机器人执行机构的末端，模拟调整部段；靶标固定在基准部段上。

在某个固定位置，利用视觉测量单元多次采集位姿数据，分析相对位姿测量系统的重复精度。

对场景中的多个不同测点，分别进行多次数据采集，求取位姿解算结果各平移分量的标准差，如表1所示。随着序号的增大，合作靶标从相机视场的一侧移动至视场的另一侧。从结果可知，4~7组的样本标准差s较小，而其余几组稍大，这是因为视觉测量系统在视场中央精度较高，而视场边缘由于存在一定的畸变，降低了测量精度。

对位姿测量结果各分量求取均值，得到位姿各平移分量的重复精度，如表2所示。可知，位姿测量系统在垂直于光轴方向（X与Y方向）的平移分量重复精度可达0.02mm，在沿光轴方向的测量重复精度优于0.2mm。这是因为单目视觉系统对于深度信息不敏感，所以垂直于光轴方向的测量精度优于沿光轴方向的测量精度。

视觉测量单元测量得到一个位姿测量结果平均用时为0.282s，可实现大尺度部件装配过程中的实时位姿测量。激光跟踪仪、全站仪、iGPS等传统方法，需逐点测量再拟合位姿，而本文所提出的方法可以直接由图像求解得到位姿，在位姿测量实时性上具有显著的优势。

图9 手眼标定试验Fig.9 Hand–eye calibration experiment

图10 相对位姿测量系统实验室验证场景Fig.10 Laboratory verification scene of relative pose measurement system

表1 相对位姿各平移分量在各测点的标准差Table 1 Standard deviation of each translation component of relative pose at each measuring point mm

表2 单测量单元相对位姿各平移分量的重复精度Table 2 Repeatability of each translation component of relative pose of a single measurement unit mm

3 多测量单元仿真结果分析

在MATLAB平台以仿真计算的方法测试多视觉融合方法的性能。按照图 2所示设置3组视觉测量单元，其中两个固定于调整部段对接端面，光轴方向垂直于端面，指向基准部段；另一个视觉测量单元固定于调整部段末端底面中心，光轴方向垂直于地面，指向地面。基准部段与调整部段的尺寸均为25m×20m×15m。

按照单测量单元试验结果设定各测量单元位姿测量结果的不确定度，仿真次数1000次，用蒙特卡洛法计算系统整体的测量重复精度。结果如表3所示。3个平移分量的重复精度相较于单测量单元的重复精度均有所下降，但垂直于光轴方向的平移分量均优于0.1mm，沿光轴方向平移分量优于0.2mm。

多源协同测量过程包含各测量单元获取位姿、测量数据无线传输与位姿融合解算3个环节。其中，视觉测量单元获取位姿环节用时0.282s，如前文所述；测量数据无线传输环节指上位机获取各测量单元的测量数据过程，在实验室环境下测试该环节用时优于1s；位姿融合解算过程数据量较小，根据仿真计算结果，该环节用时优于0.01s。因此，多源协同测量过程实际用时优于1.3s，可以满足大尺度部件相对位姿实时测量的要求。