基于机器视觉的输电铁塔联结板加工特征测量方法

高立鹏,徐振佳,刘宝华,张穆勇

(1.河北省送变电有限公司电力保障分公司,河北 石家庄 051130;2.北华航天工业学院机电工程学院,河北 廊坊 065000)

0 引言

随着电网快速发展,特高压、超高压输电技术被广泛应用,对输电设备的安全性和可靠性要求越来越高。铁塔作为输变电系统重要的组成部分之一,主要起支撑导线、地线和保障电气绝缘的作用。为了充分发挥铁塔的支撑作用,必须消除其加工制造过程中各种质量缺陷,以保证电网运行的安全性和可靠性[1-4]。因此需对铁塔构件加工过程中的几何尺寸进行严格的过程检测,防止不合格品的发生,减少对塔身建造工序的影响。联结板是输电角钢塔的基本构件,属于平面形状不规则多孔板类零件,在实际生产检验过程中,采用游标卡尺、盒尺、卡板等测量工具进行人工抽检,工作量大、效率低,无法进行全面检测,且检测结果受人的主观因素影响,易出现不合格品漏检等。近年来,由于机器视觉具有非接触、响应快、精度高等特点,逐渐应用于汽车白车身检测、机械零部件形位尺寸测量方面,视觉测量技术得到了快速的发展[5-7]。本文以输电铁塔的联结板为对象,研究了联结板加工特征的机器视觉测量方法,以促进铁塔制造行业自动化水平的提高和行业的快速发展。

1 联结板视觉测量的数学建模

视觉成像就是将三维空间的物体,通过光学变换,投射到二维的像平面内。基于视觉的测量就是用像平面内的元素来反映物理空间中的形状和位置等信息,其实质就是通过坐标系变换,完成世界坐标系物体的空间特征信息在像素坐标系的表征和解算[8]。各坐标系的变换关系如图1所示。

图1 坐标系之间的关系

根据成像的原理分别建立像素坐标系(Ofuv)、图像坐标系(Oxy)、摄像机坐标系(OcXcYcZc)和世界坐标系(OwXwYwZw)。其中,像素坐标系和图像坐标系为平面坐标系,摄像机坐标系和世界坐标系为空间坐标系,摄像机坐标系中的轴Zc为摄像机的光轴,视觉测量坐标系及其原理如图2所示。

图2 视觉测量坐标系及其原理

空间中的物点P,映射在图像平面内为p,用(u,v)、(x p,y p)、(Xcp,Ycp,Zcp)、(Xwp,Ywp,Zwp)分别表示物点P在像素坐标系、图像坐标系、摄像机坐标系和世界坐标系的坐标。

1.1 像素坐标系和图像坐标系的变换

由图2可知,物点P在像素坐标系和图像坐标系的变换为仿射变换,即将图像坐标通过缩放和平移,变换成方便计算机处理的像素坐标,则有

式中:(u0,v0)为图像坐标系中原点在像素坐标系中的坐标;dx、dy分别为图像坐标系中单位像素的物理尺寸。

方程式组(1)的齐次矩阵方程可表示为

1.2 摄像机坐标系和图像坐标系的转换

由图2可知,点P在摄像机坐标系下的空间坐标为(Xcp,Ycp,Zcp),通过透射变换将空间的三维坐标变换为图像坐标系下的二维坐标(x p,y p),在理想透视变换的情况下,其投射关系的齐次矩阵方程为

式中:f为摄像机的焦距;ρ为齐次方程求解系数。

1.3 世界坐标系和摄像机坐标系的变换

世界坐标系与摄像机坐标系之间的映射为同一物点在不同的空间坐标系的刚体变换,其变换关系为刚体的旋转和平移,则其齐次矩阵方程可表示为

式中:R为3×3阶旋转矩阵;T为3×1阶平移矩阵。

1.4 世界坐标系与像素坐标系之间的关系

根据物点P的投影过程,将式(3)和式(4)代入式(2),则有以下运算过程

式中:a x=f/dx为u轴的尺度因子;a y=f/dy为v轴尺度因子;M1为内参矩阵,只与摄像机的内部参数有关;M2为外参矩阵,由摄像机坐标系和世界坐标系决定;M为3×4阶投影矩阵。

通过上述变换,每一个空间的物点都可以映射到像素坐标系进行表示。但在变换中,由于从三维空间变换到二维空间,即从空间域投射到面域,物体的深度信息出现多义性。例如空间中垂直于像素平面的多个点,对应于像素平面中的一个点。因此需要增加约束,才能正确表达空间的位置。

在输电铁塔联结板的测量方案中,待测构件的加工特征在一个平面内,因此可以通过增加构件的测量放置位置约束来实现,即将世界坐标系中的Zw轴与摄像机的光轴(Zc轴)平行或重合,将待测构件布置在世界坐标系的OwXwYw平面内,在测量过程中,Zw和Zc为常量,进而实现了式(5)中从(Xw,Yw)↔(u,v)的单映射,即像素坐标系中点和构件中点一一对应,消除了测量过程中的多义性,从而实现输电铁塔联结板的测量。

2 联结板加工特征测量方法

2.1 摄像机的标定

摄像机标定采用张正友法,即利用标准的棋盘格标定板进行摄像机内外参数和畸变系数的标定,其核心思想是采用小孔成像的基本原理,利用标准标定板和图像中的角点,计算出图像和模板中的单映性矩阵,进而求得摄像机的内参矩阵、外参矩阵和畸变系数矩阵,其标定原理详见文献[9]。内参矩阵M1和外参矩阵M2构成投影矩阵M,用于还原联结板中的物理尺寸,畸变系数矩阵用于图像的畸变矫正。

2.2 图像的处理

在视觉测量中,数字图像的处理是关键环节,其流程如图3所示。

图3 图像处理流程图

1)图像的初级处理,即图像预处理,为图像处理做准备工作,其输入的是图像,输出的也是图像。主要包括图像滤波和图像增强等技术[10]。

图像滤波用来消除或者削弱图像的噪声,常见的滤波方法由均值滤波、中值滤波和高斯滤波,可以根据不同的特性进行相应的滤波。

图像增强是在工程检测中,进行灰度化处理,虽然丢失了色彩信息,但使图像运算变得简单高效。通过直方图均衡化增强处理后,图像的细节更加明显,以便于特征的提取。

2)图像的中级处理,即图像分割,输入为图像,输出为符号集,是图像中目标区域的边缘集合,而不是整个图像。包括图像的阈值处理、连通域提取等。

阈值处理是指在原始图像中,像素在给定的数值以上或以下,赋予确定的值。例如,在一幅8位的灰度图像中,把超过100的像素点被设定为255,把低于100以下的设定为0,这就是一种阈值处理方法,形成了一个二进制的影像。常见的阈值处理方法有二值化阈值处理、反二值化处理、截断阈值处理、超阈值处理以及低阈值处理。3)图像的高级处理,也叫做图像理解或模式识别。其输入为图像分割后的符号集合,输出为可以理解的物体、特征等。在输电铁塔联结板加工特征测量中,主要包括:边缘提取、直线的检测与测量、圆特征的检测与测量、角度的测量等。

边缘提取是指包括联结板的轮廓线和加工特征的边缘的提取,利用Canny算子进行边缘检测,即计算图像灰度变化的梯度和方向,求解出梯度值变化最大的点,并记录其位置和方向[10]。

直线的检测与测量是利用Hough 变换进行直线的检测,把所有直线的两个端点保存成一个数组,计算两个点的坐标并计算向量,然后求出的向量长度就是直线长度。

圆特征的检测与测量是图像分割后,进行漫水填充,去除构件外轮廓。利用霍夫变换进行圆特征检测,把所有的圆心坐标和半径保存成一个数组,以圆特征面积为准则,进行去重和消除错误的识别。

角度的测量是针对两条直线,计算其交点和其向量夹角,实现角度的测量。

3 联结板测量实验与结果分析

利用本文提出的方法对实验构件的机械加工特征进行测量,将加工的孔特征分布在4个区域,并将测量结果与游标卡尺的测量记过进行对比,以验证本文提出方法的有效性。

3.1 测量实验条件

在实验室的环境中搭建了测量平台。视觉测量系统硬件如图4所示,其主要参数见表1。在Python3.8+Opencv4.6的环境下,开发了测量软件。被测构件如图5所示,在实验构件上加工了4组10个孔,分成3类,分别是ϕ14.5 mm、ϕ19.5 mm、ϕ29 mm,其编号如图5所示,孔径以游标卡尺的测量结果为基准,其尺寸见表2中的基准尺寸。

表1 __系统硬件及其主要参数

表2 孔径特征测量值及其误差

图4 测量实验系统

图5 待测构件

3.2 系统标定

按照张正友法对系统进行了标定,采用12×9的棋盘格,角点间真实的物理距离为20±0.01 mm。通过采集不同角度12张标定板图像,进行内外参矩阵和畸变系数矩阵的求解。采集的图像如图6所示。

图6 摄像机标定图像

计算出的相机内参矩阵M1和畸变系数dist分别为

dist=[-0.109 0 0.155 1]单位像素代表的真实物理距离dpi=0.235 8 mm。

3.3 测量结果

采用本文提出的方法,对实验样件进行了测量,测量结果见表2。

3.4 误差分析

将实验样件联结板的孔径基准尺寸和系统的测量值进行对比,如表2所示。5号孔径相对误差最大1.03%,其绝对误差为0.15 mm。7号孔径的绝对误差最大,其值为0.26 mm,其相对误差为0.90%,均满足国标GB/T 2694-2018《输电线路铁塔制造技术条件》的要求。

综合考虑10 个孔径的平均相对误差为0.67%,3 类孔径的相对误差分别为0.77%、0.76%和0.56%,均在一倍的标准差内,说明对于不同大小的孔径,系统的测量精度无明显差别。

考查最左边的1号孔径和7号孔径的平均相对误差为0.91%,最右边的4号、6号和10号孔径的平均误差为0.39%。发现左边孔径的测量误差明显大于右边孔径,导致这种现象出现的原因是待测工件成像时其形心与摄像机的光轴不重合,以及光轴与待测物体表面不垂直造成的。

综合测量实验过程和实验样件孔径特征的测量结果,本文提出方法的测量结果有效、可靠,能够满足GB/T 2694-2018《输电线路铁塔制造技术条件》的要求。

4 结论

联结板是输电铁塔的重要构件之一,在对联结板的结构特征进行分析基础上,建立了基于机器视觉的联结板机械加工特征的视觉测量系统和算法。

1)采用实验环境中配置的视觉测量系统和50分度的游标卡尺相比,孔径大小的偏差在0.3 mm以内。提高摄像机的分辨率,孔径的精度可进一步提高。

2)本文提出的测量方法可以取得较高的测量精度,能够满足国家标准要求,具有较高的工程价值。