基于立体视觉的农机热锻件测量系统设计

邢作常，田素博，辛丽丽，白雪卫，张祖立

(沈阳农业大学 工程学院，沈阳　110161)



基于立体视觉的农机热锻件测量系统设计

邢作常，田素博，辛丽丽，白雪卫，张祖立

(沈阳农业大学 工程学院，沈阳110161)

摘要：为解决农机热态锻件的在线尺寸测量问题，提出了一种基于计算机双目立体视觉的解决方案。针对热锻件的图像获取、特征提取、图像匹配和三维重建等问题展开研究，分别采用光谱选择性图像采集方案、形态学角点和轮廓提取方案，基于标定立体校正的快速匹配和重建方案，构建了一套在线测量系统。为提高系统的实时性，采用OpenCV计算机视觉库函数实现相应算法。以一个被加热至1 000℃圆柱体锻件为试验对象，测量结果直径相对误差为2.20%，高度相对误差为1.81%，用时87s。试验结果表明：所提出的农机高温热锻件几何参数测量方法能够满足锻造生产现场对尺寸测量实时、精确、高效的要求。

关键词：农业机械；双目立体视觉；图像采集；立体校正；三维重建

0引言

大部分农业机械的工作环境(尤其是田间作业机械)都比较恶劣，因此对其工作部件的机械性能有较高要求，如耙片、犁体、割刀、锤等；甚至一些连接件(如齿轮、传动轴、壳体)都要求有较高韧性和耐冲击性，这些零件的成形往往需要经过锻造加工。图1、图2为耕地机械中的犁托和连接板，采用模具锻造。

锻造车间现场强震、粉尘、辐射、高温、强光等恶劣环境使得高温热锻件的在线尺寸测量面临诸多困难，国内外对其进行了很多研究。美国开发了Hot-Eye小锻件三维测量系统，其基于CCD成像和激光原理，精度为±0.1mm，10s可完成100mm×100mm锻件的测量[1]，但价格昂贵。德国开发了LaCam-Forge锻件测量系统，它采用激光测距原理，通过激光器扫描锻件表面，采集数据，经过计算机处理完成尺寸测量[2]，但只适合测量大型锻件。燕山大学采用图像灰度识别锻件边界并计算出锻件的直径[3]，缺点是只能获得简单尺寸，且操作麻烦、精度低。吉林大学提出了一种使用数字滤波技术和结构光三维测量技术进行热锻件尺寸检测的方法，但稳定性和精度有待提高[4]。

图1　农机热锻件(连接板)

图2　农机热锻件(犁托)

目前，国内一般采用传统的人工直接测量法，如图3所示。这种测量方法误差大、速度慢、劳动条件差、强度高[5-6]。计算机立体视觉具有实时、高精度、高效率、非接触及信息丰富等特点，是一种有前途的新型测量方法。因此，将计算机视觉引入到农机锻件生产，实现对农机热锻件三维尺寸的快速、非接触、精密及自动化测量，具有现实意义。

图3　工人使用卡钳测量锻件尺寸

本文采用计算机双目立体视觉技术，先利用光谱选择性原理采集高温锻件的二维图像，然后经过图像预处理、摄像机标定、标定立体校正、图像匹配、深度计算、三维重建和测量等过程，完成高温锻件三维重建和测量。整个系统在Microsoft Visual Studio 10.0平台上采用OpenGL和OpenCV编程，实现各部分算法。

1测量系统介绍

1.1图像采集原理

图像采集是计算机视觉的基础，其方式很多，主要决定于应用目的和场合，还要考虑光照条件、镜头性能、对象及背景特点、视点差异等因素的影响，以利于立图像处理。锻压车间内复杂的背景、粉尘、锻件的高温辐射、表面氧化层、强光、水汽等都加大了图像采集和图像处理的难度。其中，影响最严重的是高温锻件的强光辐射干扰(它们远远大于锻件的反射光)。为消除这些影响，使拍摄的高温锻件图像接近于常温时图像，本文采用光谱选择性图像采集方法[7]。

所谓光谱选择性图像采集方法就是根据高热锻件强辐射光的光谱特点(即波长)，选择合适的滤光片装在镜头前，滤除对成像有影响的强辐射光及其它干扰光(前提是滤光片的通带必须在CCD的感光波段内)。热锻件辐射曲线和CCD感光度曲线如图4所示。从图4可以看出：通带范围可选择在400～460nm之间的窄带滤波片。试验发现：透过上述滤光片进入CCD摄像机的光线强度不足以使其感光，因此必须使用辅助照明光源；辅助照明光源的光谱能量分布必须在CCD感光区，本文选择氙灯。

图4　热锻件辐射曲线和CCD感光度曲线

1.2农机热锻件双目视觉测量系统介绍

农机热锻件计算机双目立体视觉测量系统的硬件部分由照明光源、低带通滤光片、CCD摄像机、控制盒、图像采集卡和图像工作站等组成。其工作原理为：在照明光源的照射下，农机热锻件表面反射光线通过带通滤光片进入摄像机，在CCD芯片上成像并被图像采集卡采集；然后，在图像工作站中通过三维重建及测量算法对其进行处理，进而得到农机热锻件的三维几何尺寸。其中，照明光源和带通滤光片的作用是避开高温锻件的高能量辐射段，消除强辐射光对成像质量的影响，便于图像的进一步处理。系统软件工作流程如图5所示。

系统软件部分主要包括图像获取、三维重建及测量程序。其中，三维重建是整个程序的核心。本文三维重建过程包括以下几个步骤[8-10]：

1)消除畸变。根据摄像机内参数，采用数学方法消除摄像机径向和切向上的镜头畸变。

2)摄像机校正。由摄像机立体标定结果，通过重投影输出数学意义上平行对准的校正图像。

3)图像匹配。搜索左右图像中对应的相同特征，并输出的视差图。

4)重投影。根据摄像机标定结果，由视差图求出深度图。

图5　软件工作流程

2双目视觉原理及其组成

2.1立体视觉原理

如图6所示，三维空间点P在左右图像上的成像点为pl和pr，相应的水平坐标为xl和xr，视差d=xl-xr。假设两摄像机的像平面准确位于同一平面，并且两幅图是行对准的，焦距fl=fr，T为基线长度。由三角形相似可以推出深度z。这就是计算机双目视觉三角测量原理。

(1)

图6　三角测量原理

2.2摄像机标定

摄像机的几何模型或参数决定其图像点与空间点的相互关系，此关系是三维重建和三维测量的基础。通过数学和实验方法求解摄像机的几何模型或参数的过程称为标定。显然，摄像机标定精度直接决定三维重建和三维测量的精度。摄像机标定主要分为不需要标定物的自标定法和需要标定物的传统标定法两大类。传统摄像机标定法算法简单、运行可靠、精度高、应用广。本文采用的张正友标定法介于二者之间。它使用二维平面模板，通过从不同角度拍摄的同一平面模板的图像，即可求出摄像机的内外参数[11-12]。

2.3图像预处理

由摄像机获取的原始锻件图像不能直接用于立体匹配和三维重建，其原因主要有3个：一是目标与背景的分离；二是原始图像需要进行去噪和平滑处理，以减少噪音对匹配质量的影响；三是一些特殊的原因。例如，本文的目标是热锻件轮廓尺寸检测，只需将轮廓进行匹配和三维重建。所以，简单的措施是提取轮廓并二值化阈值分割，得到黑白二值化的轮廓图像，便于图像立体匹配和三维重建。本文图像预处理(包括了轮廓提取)的主要流程如图7所示。

图7　图像预处理工作流程

2.4特征提取

降低匹配难度、提高匹配质量的重要措施是选择合适的图像特征并进行匹配。根据匹配策略不同，用于匹配的主要特征主要有区域特征、线状特征和点状特征等。特征的选择除考虑匹配策略外，还要考虑对象的特点和测量或三维重建的目的。本文以普通农机热锻件为对象，目的是测量其基本轮廓尺寸。所以，本文特征提取选择轮廓和角点，可使用形态学滤波或Canny算子对图像进行边缘及角点检测。

2.5立体校正

进行立体匹配最基本的约束是极线约束。所谓极线约束，就是给定左图像上的任意点，它在右图像上的匹配点一定在对应极线上；反之亦然。极线约束使对匹配点二维搜索转变成沿着极线的一维搜索，不仅节省了大量的计算，还排除了许多导致虚假匹配的点；但增加了另外的计算量—极线计算。

立体校正的目的是将摄像机校正为数学意义上的前向平行对准形式，即通过调整摄像机几何角度和位置，使其重投影的图像平面准确地位于同一个平面，并且行完全对准。这样，在右图像上对应于左图像特征的匹配点一定出现在相同行上。如图8和图9所示，经过校正之后，M1、M2一定在同一行上。由于不需要再进行极线计算，因而大大提高了匹配质量和速度。

图8　摄像机校正前系统坐标系

图9　摄像机校正后系统坐标系

2.6图像匹配

立体匹配就是求同一个空间点在不同图像中的对应点，并进一步求得视差图。当三维物体被投影为二维图像时，同一物体在不同视点下的图像会有很大不同，所有因素(如光照条件、物体的物理光学特性和几何形状、摄像机畸变及噪声干扰等)都被综合成单一的灰度值。因此，匹配需要一些约束。本文采用：极线约束，即左右图像中的匹配点位于对应的一条直线上，从而将匹配点的搜索从二维缩小到了一维[13-14]；唯一性约束，即左右图像中对应的匹配点必须是唯一的；保序性约束，即对应匹配点在左右图像中的先后顺序保持一致。本文就是以三角测量原理和极线约束原理为根据，设计了基于标定立体校正的高效立体匹配和三维重建方法，即通过标定立体校正，将摄像机校正为数学意义上的前向平行对准关系(极线水平)，使匹配点的搜索仅在同行水平线上进行[15-18]。本文采用灰度相似度和视差梯度相似度作为特征匹配的依据[19]。为了减少错误匹配，算法还安排了对称行测试。

本文立体匹配算法如下所述：

1)预过滤，使图像亮度归一化，减少左右图像亮度差异并加强纹理。

2)对左图像上的每个特征点，依据灰度相似度和视差梯度相似度，在右图像的对应行上寻找最佳匹配。控制匹配搜索的主要参数有开始搜索位置和搜索长度。

3)再过滤，去除坏的匹配点。

4)反方向匹配，即对右图像上的每个特征点，依据灰度相似度和视差梯度，在左图像的对应行上寻找最佳匹配。

5)再过滤，去除坏的匹配点。

6)进行对称性测试，移除非对称的匹配。

只有通过正反两次匹配、过滤检测的匹配点才被视为有效。这样大大降低了噪音的影响，提高了匹配精度。

2.7深度计算和三维重建

立体匹配后，得到视差图。如果给定视差d和2D点(x，y)，则3D深度为

(2)

(3)

其中，三维坐标就是(X/W，Y/W，Z/W)，Q为重投影矩阵。

3基于OpenCV的测量系统实现

OpenCV (Intel open source computer vision library)是开放的计算机视觉函数库，用来实现常用的计算机视觉算法，具备强大的矩阵运算和图像处理能力。OpenCV函数具有良好的接口，开发效率高，执行速度快，因此被广泛应用于工程实际[20]。

3.1立体标定

OpenCV采用张氏标定法。该方法使用通用的黑白棋盘格平面模板，获取模板至少在3个不同位置的图像，求得棋盘角点的空间坐标(z=0)和图像坐标的对应关系，从而确定摄像机的内参外参数。主要过程如下：

1)用cvFindChessboardCorners()函数找出棋盘角点；

2)用cvFindCornerSubPix()函数找出亚像素精度的棋盘角点；

3)计算相应角点在空间坐标系下的坐标；

4)用cvStereoCalibrate()函数，根据棋盘角点的空间坐标系的坐标值和图像坐标系的坐标值，一次计算出系统所有内外参数。

3.2立体校正

求得摄像机内外参数后，就可对被测对象的左右图像对进行立体校正，主要过程如图10～图14所示。

1)用cvUndistortPoints()函数对图像进行去畸变处理。

2)用cvFindFundamentalMat()函数计算基础矩阵。

3)用cvSteroRectify()函数计算校正映射。

4)用cvRemap()函数校正图像。

图10　校正前左右图片

图11　校正后左右图片

图12　轮廓提取

图13　轮廓形态学处理

图14　深度图和三维重建图

3.3特征提取

特征提取的主要目的是提取角点和轮廓、降低图像匹配和三维重建工作量，为立体匹配和三维重建打下基础，提高其质量。

1)用直方图均衡化函数hist_equalize()预处理图像(去噪和平滑)。

2)用cvCanny()函数提取轮廓(或形态学方法)。

3)用cvDialiate()函数对轮廓进行形态学去噪和平滑处理。

3.4立体匹配与三维重建

依据灰度相似度和视差梯度相似度，来进行特征匹配。

1)用cvFindStereoCorrespondence()函数获取轮廓视差图。

2)用cvPerspectiveTransform()函数获得轮廓深度图。

3)通过points _ reconstruc-tion()函数进行点三维重建。

4)通过triangulation()函数进行三角化。

5)通过three _ dimensional _ show()函数显示三维信息。

最后3个步骤是在摄像机标定和立体匹配的基础上的三维重建和三维显示。三维显示使用了OpenGL函数。本文采用Delaunay三角划分和贴纹理(函数glTexImage2D())，最终通过OpenGL编程显示出物体的三维模型。

4三维重建及测量实验

根据上述算法和OpenGL、OpenCV函数，以热锻件的三维尺寸测量为目标，在Windows XP平台下使用VC++设计了一个基于OpenCV3.1版本的计算机三维重建及测量系统。为验证系统的可行性，在实验室做了三维重建及测量实验。实验采用顶面有槽的圆柱形锻件，通过电热器加热至1 000℃左右，如图15所示。测量参数主要是圆柱直径、圆柱高、槽深和槽宽。采用分辨率为1 024×1 024的黑白CCD摄像机，测量结果如表1所示。

图15　实验用图片

项目实际值/mm测量值/mm误差/%圆柱直径59.60(已考虑热胀)60.912.20圆柱高度197.82(已考虑热胀)201.401.81.槽宽度10.00(未考虑热胀)9.564.40槽深度10.00(未考虑热胀)10.353.50

程序经过严格的测试，运行稳定，速度快，但测量误差较大。对于微小结构(如键槽)，误差高达4.4%，但大尺寸测量误差最低1.81%。文献[5]指出我国锻件余量高达15%，因此该方法仍有实际意义。为方便使用，基于VisualC++开发了热锻件双目立体视觉三维测量操作界面，可以快速调用OpenCV函数，提高了系统可操作性。系统界面采用菜单式如图16所示。

图16　测量系统界面

5结论

1)为提高匹配效率和质量，系统以极线约束和三角测量原理为依据，提出了一种基于标定立体校正和双向匹配的快速图像匹配和三维重建方法。实验证明：该方法匹配效率高，误匹配率小，重建速度快。

2)为避免高温辐射和强光干扰对锻件图像质量的影响，采用滤光片进行光谱选择，从而使采集的图像达到了常温时图像采集的效果。

3)灵活地选用形态学结构元素和基本操作(如开运算、闭运算、腐蚀、膨胀和梯度操作)。普通的梯度运算一般不能很好地获得外围边缘。通过求取膨胀后的图像与腐蚀后的图像的差值(即形态学梯度)，检测图像边缘(即悬崖)，效果较好。

4)检测圆柱锻件用时87s，误差在1.81%～4.40%之间。试验结果表明：基于OpenCV的计算机双目视觉在线尺寸测量系统具有一定的精度、速度、效率和稳定性，能够满足农机热锻件现场实时检测的要求，具有一定的现实意义。

参考文献：

[1]赵亚飞，陈柏金，郭文行,等．基于OpenCV的高温锻件边缘检测[J]．自动化技术与应用，2013，32(7) ：77-81．

[2]Chen Frank，Brown G M, Song Mumin．Overview of three-dimensional shape measurement using optical methods[J]． Opt Eng，2000，39(1)：10-12．

[3]聂绍珉，唐景林，郭宝峰，等．基于CCD的大型锻件尺寸测量研究[J]．塑性工程学报，2005(S)：85-88．

[4]NIE Shao-min，TANG Jinglin，GUO Baofeng，etal. The Research of Measurement of Large-size Forging Work piece based on CCD [J]．Jourhnal of Plasticity Engineering，2005，12(S)：85-88．

[5]赵毅，王明辉，马品奎，等.热态锻件结构光三维测量技术[J].中国机械工程，2006，17(s1)：125-128．

[6]Zhao Yi， Wang Minghui, Ma Pinkui,etal．Structured Light 3D Measurement Technology of HotForging[J].China Mechanical Engineering，2006，17(S1)：125-128.

[7]何祝斌，初冠南，张吉，等．锻造技术的发展—从前8届国际塑性加工会议看锻造技术的发展[J]．塑性工程学报，2008，15(4)：13-17．

[8]He Zhu-bin, Chu Guannan，Zhang Ji，etal. Development of forging technology[J].Journal of Plasticity Engineering，2008，15(4)：13-17.

[9]聂绍民，李树奎．大锻件热态在线尺寸测量研究综述[J]．金属加工，2008(11)：22-25．

[10]王邦国，大型锻件热态几何参数视觉测量技术研究[D]．大连：大连理工大学,2011.

[11]杨福增，刘珊，陈丽萍，等.基于立体视觉技术的多种农田障碍物检测方法[J]．农业机械学报，2012， 43(5)：168-172．

[12]Tsai RY．A versatile camera calibration technique for high-accuracy 3Dmachine vision metrology using off-the-shelf TV cameras and lenses[J]．IEEE Journal of Robotics and Automation，1987，3(4)：323-344．

[13]王传宇，赵 明，阎建河,等.基于双目立体视觉技术的玉米叶片三维重建[J]．农业工程学报，2010，26(4)：198-202．

[14]Wang Chuanyu，Zhao Ming，Yan Jianhe, et al.Three-dimensional reconstruction of maize leaves based on binocular stereo vision system[J].Transactions of the CSAE，2010，26(4)：198-202．

[15]彭辉，吴鹏飞，翟瑞芳,等．基于视差图像的重叠果实图像分割算法[J]．农业机械学报，2012，43(6)：167-173．

[16]Peng Hui，Wu Penggei， Zhai Ruifang, et al．Image Segmentation Algorithm for Overlapping Fruits Based on Disparity Map[J]．Transaction of the Chinese Society for Agricultural Machinery,2012,43(6)：167-173.

[17]Park J S．Interactive 3d reconstruction from multiple images：a primitive-based approach [J]．Pattern Recognition Letters，2005，26(16)：2558-2571．

[18]Zhang Z Y．A flexible new technique for camera calibration [J]．Transactions on Pattern Analysis and Machine Intelligence，2000，22(11)：1330-1334．

[19]Papadimitrious D V， Dennis T J．Epipolar line estimation and rectification for stereo image pairs[J]．IEEE Trans on Image Processing，1996，5(4)：672-676．

[20]Lin Guoyu,Chen Xu,Zhang Weigong．A robust epipolar rectification method of stereo pairs[C]//2010 InternationalConference on Measuring Technology and Mechatronics Automation.Changsha：IEEE, 2010： 322-326．

[21]吕朝辉，陈晓光，郑元杰，等．立体视觉技术在秧苗直立度测定中的应用[J]．农业工程学报，2001，17(4)：127-130．

[23]张凯良，杨丽，张铁中．草莓采摘位置机器视觉与激光辅助定位方法[J]．农业机械学报，2010，41(4)：151-156．

[24]Zhang Kailiang，Yangli，Zhang Tiezhong．Object locating method of laser-assisted machine vision for strawberry harvesting [J]．Transaction of the Chinese Society for Agricultural Machinery，2010，41(4)：151-156.

[25]赵春江，杨亮，郭新宇,等．基于立体视觉的玉米植株三维骨架重建[J]．农业机械学报，2010，41(4)：157-162．

[26]ZhaoChunjiang，YangLiang，GuoXinyu，etal．Corn Skeleton Reconstruction Based on Stereo Vision[J].Transaction of the Chinese Society for Agricultural Machinery，2010，41(4)：157-162.

[27]王传宇，赵明，阎建河．基于双目立体视觉的苗期玉米株形测量[J]．农业机械学报，2009，40(5)：145-148．

[28]Wang Chuanyu, Zhao Ming， Yan Jianhe. Measurement of maize seedling morphological traits based on binocular stereo vision[J]．Transaction of the Chinese Society for Agricultural Machinery,2009, 40(5)：145-148.

[29]Sun C． Fast stereo matching using sub regioning and 3D maximum-surface techniques [J]．International Journal of Computer Vision,2002，47(1-3)：99-117．

The Measurement System Design of the Agricultural Machinery Hot Forging Parts Based on the Stereoscopic Vision

Xing Zuochang, Tian Subo, Xin Lili, Bai Xuewei, Zhang Zuli

(College of Engineering, Shenyang Agricultureal University, Shenyang 110161,China)

Abstract：Aiming to solve the online measurement problem exists in hot forging process of agricultural machinery components, a solution was explored base on the stereo vision of computer in this study. The image acquisition, feature extraction and 3D reconstruction of hot forging parts were studied. A set of real-time measurement system were constructed with spectra selective image acquisition, morphology corner detection and contour extraction，rapid matching and 3D reconstruction based on stereo rectification. In order to enhance the real- time function of system, the relevant algorithm was realized by using functions of OpenCV. The experiment, which was based on cylinder forging (heated to 1000℃, indicated that the relative errors of measurement diameter and height were 2.20% and 1.81% by using 87s. The experiment results indicated that the geometric measurement method of agricultural machinery hot forging parts could satisfy the requirements of real time, precision and high efficiency of dimension measurement on production spot.

Key words：agriculture machinery; stereo vision； image capture；3D reconstruction；stereo rectification

文章编号：1003-188X(2016)02-0171-08

中图分类号：S220.3；TP391.41

文献标识码：A

作者简介：邢作常(1971-)，男，河南新乡人，博士研究生，(E-mail)xingzuochang@163.com。通讯作者：张祖立(1952-)，男，沈阳人，教授，博士生导师，(E-mail)syauzhangzuli@163.com。

基金项目：国家自然科学基金项目(51405311)

收稿日期：2015-03-26