视觉标定技术在全自动FOG邦定机中的应用

时间：2024-09-03

周宏艳，郭晓妮，李铁，武杰

(太原风华信息装备股份有限公司，山西太原030024)

随着液晶显示设备行业热潮的到来，众多企业纷纷加入液晶显示设备产业的竞争，对日渐激烈的市场竞争，如何保持在这个行业不断的赢利，提升生产力、降低制造成本，减少人力成本是一个突破口。液晶显示器（Liquid Crystal Display，LCD）的模块生产已经成为重要的高新技术产业，其中邦定工艺是LCD 模块生产过程中很重要的一道工艺。邦定工艺大致分为：ACF （Anisotropic Conductive Film，各向异性导电膜）邦定、预压邦定、主压邦定三个工序。预压邦定是将FPC（Flexible Printed Circuit，柔性电路板）和LCD 通过ACF 进行连接，而连接的关键技术就是对位。传统的对位是通过人工操作实现。而人工对位存在很大误差，严重影响了产品质量且耗费了大量人力。为降低成本，提高生产效率和产品稳定性，目前全自动FOG 采用视觉系统进行定位。视觉标定是视觉系统定位的前提和基础，且起着至关重要的作用。因此，视觉标定技术在FOG 邦定机中的应用具有重要意义。

1 全自动FOG 邦定机

FOG 邦定机是一种用于将FPC 与玻璃面板之间建立稳定的机械和电气连接的生产设备。它的生产工艺包括：LCD 自动上料、FPC 自动上料、定位、ACF 预邦定、自动对位、预压邦定、主压邦定、自动下料。设备外形布局如图所示。

图1 设备外形布局图

其中预压邦定在整个邦定过程中起着举足轻重的作用，它通过视觉系统将FPC 进行对位并自动完成预压。对位的精确度决定了产品的质量，因此对位技术至关重要。视觉标定技术是全自动FOG 的关键。

2 视觉标定技术

无论要从图像推知空间的三维信息，或反之，从空间三维信息推断二维图像坐标，都必须建立图像中像点位置和空间物体表面点位置之间的相互对应关系，即确定相机在参考坐标系中的空间位置和取向（外部参数），以及相机本身的几何模型和光学参数（内部参数）。这种对应关系由摄像系统的成像模型来决定，但由于相机的光心和光轴并不是物理上的实体，因此这些参数需要通过实验与计算来确定。测定这些参数的过程就称为摄像系统的标定。

相机标定是立体视觉技术中的一项最基本，也是最重要的工作。对于机器视觉测量系统来说，一般物距是焦距的几百或上千倍，这时相机内外参数或图像上目标像点位置的任何一点微小误差在测量结果中都可能被放大千百倍。因此要达到较高的测量精度，必须要对摄像系统进行高精度的标定，对于线型结构光传感器来说，包括单目相机的标定和激光平面的标定。

2.1 相机成像模型

2.1.1 针孔成像与透镜成像

相机模型是光学成像几何关系的简化，三维空间中的物体到像平面的投影关系即为成像模型。理想的投影成像模型是光学中的中心投影，也称为线性模型或针孔模型（pin-hole model）。针孔模型假设物体表面的反射光都经过一个小孔而投影在像平面上，即满足光的直线传播条件，此时物点、光心以及像点之间的几何关系为一共线方程。针孔模型主要由光心（optical center）、成像面（image plane）和光轴（optical axis）组成，图2为针孔模型成像原理示意图。

针孔模型的焦距fP等于光心到像面的距离，物距u 等于光心到物面的距离。小孔成像由于透光量太小，因此需要很长的曝光时间，并且难以得到清晰的图像。而使用镜头可以很好地解决这些问题。镜头能聚集光线，获得清晰的图像，而且镜头能透过大量的光线，可以在很短的时间内使感光介质曝光。因此实际的摄像系统通常是由透镜或透镜组构成。图3是理想的单透镜成像原理图。其中fL为焦距，u 为物距，v 为像距，三者满足如下的高斯成像公式：

可以看出，透镜成像与针孔成像两者焦距的概念并不相同，在针孔成像中焦距等于像距，而在透镜成像中并非如此。但是可以证明两者的成像关系是一致的，即像点是物点和光心的连线与图像平面的交点。因此可以用针孔模型作为相机的成像模型。

由于透镜设计的复杂性和工艺水平等因素的影响，实际的透镜成像系统不可能严格的满足中心投影关系，从而产生了镜头畸变。实验表明，针孔模型，即线性模型不能准确的描述成像几何关系，尤其是当相机镜头是广角镜头时，在远离图像中心处会有较大的畸变。因此在高精度的视觉测量中应采用非线性模型来描述成像几何关系。

以下首先给出线性模型的数学表达式，非线性模型在标定算法中引入。

图2 针孔成像

图3 透镜成像

2.1.2 常用坐标系

视觉测量中常用到3 个不同层次的坐标系：世界坐标系、相机坐标系和图像坐标系，都为右手坐标系统，其定义分别如下：

（1）世界坐标系（Xw，Yw，Zw）。由用户定义的三维空间参考坐标系，用于描述相机和物体的位置。

（2）相机坐标系（Xc，Yc，Zc）。相机坐标系的原点为镜头光心；Zc轴与光轴重合，与成像面垂直，且取摄影方向为正向；Xc、Yc轴与图像物理坐标系的x、y 轴平行；图中Oco 为相机焦距f。

（3）图像坐标系。在视觉测量中，为了便于像点和对应物点空间位置的相互换算，相机模型通常采用如图所示的前投影模型，即图像坐标系建立在相机坐标系中Zc=f 平面内。图像坐标系是平面直角坐标系，分为图像像素坐标系（u，v）和图像物理坐标系（x，y）两种，其定义分别为：

a) 图像像素坐标系（u，v）。图像像素坐标系是以图像左上角为原点，以像素为坐标单位的直角坐标系。u，v 分别表示像素在数字图像中的列数与行数。

b) 图像物理坐标系（x，y）。图像物理坐标系是以光轴与像平面的交点（主点）为原点，以毫米为单位的直角坐标系。其x，y 轴分别与图像像素坐标系的u，v 轴平行。

3 坐标系变换关系

定义了上述各种空间直角坐标系后，就可以得到相机在线性模型下的成像描述，即建立空间物点和对应像点之间的数学关系。

3.1 世界坐标系与相机坐标系的变换关系

世界坐标系中的点到相机坐标系的变换过程可由一个旋转变换矩阵R 和一个平移变换向量t来描述。设空间中某点M 在世界坐标系和相机坐标系下的齐次坐标分别是[Xw，Yw，Zw，1]T和[Xc，Yc，Zc，1]T，于是存在如下关系：

其中，R 为3×3 正交单位矩阵，t 为三维平移向量，0=[0 0 0]T。

上述关系表示世界坐标系中点M 先作旋转再作平移，变换至相机坐标系。t=[tx，ty，tz]T，即世界坐标系原点在相机坐标系中的坐标。正交旋转矩阵R 是光轴相对于世界坐标系坐标轴方向的余弦组合，可用三个欧拉角φ（绕Xw轴旋转）、θ（绕Yw轴旋转）、ψ（绕Zw轴旋转）来表示，如果空间点M 的旋转运动经由绕Xw，Yw，Zw轴先后次序的三次旋转实现，则R 可以表示成：

可见，平移向量中的3 个平移量tx、ty、tz加上旋转矩阵中的3 个独立变量φ、θ、ψ，总共6 个参数（即六个自由度）决定了相机光轴在世界坐标系中的空间位置和取向。这6 个参数称为相机的外部参数。

3.2 相机坐标系与图像坐标系的变换关系

图像物理坐标系的原点，即光轴与像平面的交点在理想情况下应位于图像中心处，但由于相机制造方面的原因，一般会有偏离。若图像物理坐标系（x，y）原点在图像像素坐标系（u，v）中的坐标为（u0，v0），像面上每一个像素在x 轴与y 轴方向上的物理尺寸为dx、dy，则图像中任意一个像素在两个坐标系下的坐标有如下关系：

用齐次坐标与矩阵形式可表示为：

如图4所示，在线性模型中空间点M 和其在图像上的投影m 之间有如下的比例关系：

其中，（x，y）为m 点的图像物理坐标，（Xc，Yc，Zc）为空间点M 在相机坐标系下的坐标，f 为相机焦距，用齐次坐标与矩阵形式表示上述透视投影关系：

由式(5)和式(4)可以得到空间点M 与像点m的像素坐标之间的变换关系：

令α=f/dx，β=f/dy，分别代表以x 轴与y 轴方向上的像素为单位表示的等效焦距。另外，在较高精度的相机模型中还引入一个参数γ，表示在图像平面中以像素为单位的坐标轴倾斜程度的量度，γ=α tgθ，θ 表示相机CCD 阵列v 轴的偏斜角度。则式(6)改写为：

式中，α、β、γ、u0、v0参数只与相机内部结构有关，不依赖于相机在空间中的方位，因此称这些参数为相机的内部参数。

3.3 世界坐标系与图像坐标系的变换关系

将式(2)代入式(7)，就可以得到空间点M 在世界坐标系中的坐标与其像点m 在图像像素坐标系中的坐标之间的变换关系：

上式可简写成：

P=A[R t]为3×4 不可逆矩阵，称为投影矩阵。

可见，如果已知相机的内外参数，就可以确定投影矩阵P。对于空间任何点M，如果已知它的坐标（Xw，Yw，Zw），就可以求出对应像点m 的位置（u，v），这是因为在已知P 与M 时，式(9)给出3 个方程，在这3 个方程中消去s 即可求出（u，v）。反之，如果已知空间点M 的像点位置m（u，v），即使已知相机内外参数也不能确定M 的三维坐标。这是由于投影矩阵P 的不可逆性，当已知P 与m 时由式(9)给出的3 个方程中消去s，只可能得到关于Xw，Yw，Zw的两个线性方程，这个方程组即为由光心和像点构成射线的方程，投影点为m 的所有空间点均在此射线上。其物理意义可以由图4看出，根据图像点m 无法唯一确定空间点的位置。