一种用于钣金零件视觉测量的图像拼接方法

, ,

(西南科技大学 计算机科学与技术学院,四川 绵阳 621010)

0 引言

随着图像处理在工业领域的应用，以计算机视觉为基础的视觉测量技术成为机械零件尺寸测量的一种新方式。对大尺寸零件的测量，其尺寸超出图像采集摄像机的视场范围，就先利用图像拼接技术获取待测零件的大视角全景图像。

图像拼接技术主要包括图像配准和图像融合，核心是图像配准，即找出待拼接图像之间重叠区域及重叠位置。随着图像拼接技术的应用，各种图像配准算法相继被研究并改进，主要工作围绕图像配准的速度、精度、抗干扰性等方面进行。图像配准方法主要分为基于灰度的配准、基于特征的配准和基于频域的配准。基于灰度的图像配准[1-2]是利用数学方法计算待配准图像和参考图像的灰度值差异，分析比较待配准图像重叠区域的相似度，求配准参数来完成图像的配准，算法简单，但是容易受到光照的影响，速度比较慢，适用于外形特征和灰度信息丰富的景物图像。基于特征的图像配准方法[3-5]是利用能在一定程度上代表待配准图像相似性的特征作为配准依据，确定图像特征间对应关系，找到待配准图像间的变换参数，对待配准图像对应特征区域进行配准，但是对图像要求有足够的特征信息并且特征选取要正确，对噪声非常敏感。基于频域的图像拼接方法[6-7]利用二维傅里叶变换的性质，空域上的平移等效于频域相位的平移。对图像进行傅里叶变换，将图像从空间域转换到频域，再求配准参数来完成图像配准。相对自然景物图像而言，平面钣金图像形状简单，纹理信息少，灰度信息不丰富，特征点少，对比分析基于图像灰度和基于特征匹配的图像拼接算法，发现难以从图像灰度信息和特征点两个角度实现钣金图像拼接。为了实现形状简单、纹理信息少、特征点稀少、轮廓比较对称的钣金图像拼接，提出了一种在待拼接钣金零件图像中选择包含重叠部分的等大小区域作为待配准区域，对待配准区域提取轮廓，然后对轮廓图利用相位相关法求待配准区域的配准参数，再根据待配准区域图像与待拼接图像的坐标关系转换求待拼接零件图像的配准参数对图像进行配准，再使用渐入渐出融合算法消除拼接缝隙，实现钣金零件图像拼接的方法。

1 图像拼接流程

不同的图像拼接方法具体步骤可能不同，但基本流程是一致的，主要包括3个重要步骤：图像预处理、图像配准和图像融合，核心的部分是图像配准技术，拼接基本流程图如图1所示。

图1 图像拼接算法基本流程图

图像预处理主要是为图像配准做准备工作，如对待拼接图像进行几何畸变校正及噪声抑制，降低图像配准难度，提高图像配准精度，减少误匹配。图像预处理主要包括图像处理的基本操作(如图像平滑滤波，直方图处理、图像投影、图像去噪、图像修正等)、对图像进行某种变换(如傅里叶变换，小波变换等)、图像特征提取等操作。由于图像配准的准确度决定图像拼接的质量，所以图像配准是图像拼接技术的核心，旨在找到参考图像和待拼接图像之间重叠区域及重叠部分的位置，然后确定一种最能描述待拼接图像之间映射关系的变换模型，再将从不同视角、不同传感器或不同时间获取的同一场景的两幅或多幅图像统一到同一坐标系下，完成待拼接图像之间的对齐。图像融合是图像拼接的主要目的是保证待拼接图像之间重叠区域连续和没有可见的缝合线。由于采集的图像可能存在灰度、视野、光照的差异，使重叠区域在两幅或多幅图像中有较大的差异，根据配准参数进行简单的图像叠加拼接后的图像容易出现明显的拼接缝隙和重合区域模糊的问题，所以需要综合多幅原图像的有用信息，对配准后的图像进行图像融合，实现待拼接图像的无缝拼接和重叠区域平滑过渡。

2 基于轮廓相位相关法的图像配准

2.1 相位相关法基本原理

图像拼接技术的3个重要步骤，主要针对图像配准这一核心步骤进行研究，一些机器视觉测量应用中，成像系统有严格的运动要求且只存在简单的水平和垂直方向的平移运动。由于平面钣金图像形状简单，特征点少，灰度信息不丰富，轮廓比较对称，所以选择基于相位相关法来实现钣金图像拼接。相位相关法[8-10]是基于频域图像配准的常用算法，该算法理论依据是二维傅里叶变换的平移性质，即信号在空间域上的平移等效于频域相位的平移。相位相关法利用图像互功率谱中的相位信息求配准参数，算法描述如下：

设空间域两幅待拼接的图像f1(x,y)和f2(x,y)，f2(x,y)在f1(x,y)的基础上存在平移量(x0,y0)，满足公式(1)：

f2(x,y)=f1(x-x0,y-y0)

(1)

设图像f1(x,y)和f2(x,y)对应的傅里叶变换分别为F1(u,v)和F2(u,v)，对公式(1)两端做傅里叶变换，得到公式(2):

F2(u,v)=e-j2π(ux0+vy0)*F1(u,v)

(2)

由上式可得到，待拼接图像f1(x,y)和f2(x,y)在频域中幅值相同，相位不同。F1和F2之间的相位差可以等效为互功率谱的相位，它们之间的互功率谱为F1(u,v)F2*(u,v)，*表示共轭，对其归一化互功率谱得到公式(3)：

(3)

对公式(3)进行傅里叶逆变换，得到公式(4)：

δ(x-x0,y-y0)

(4)

δ(x-x0,y-y0)是二维脉冲函数，是在平移运动坐标上的脉冲，在δ函数中搜索脉冲峰值，其对应的就是δ(x-x0,y-y0)处的值，x0和和y0即为两幅图像间的水平和垂直平移量。

相位相关法的优点是算法简单，不受图像亮度变化的影响，运行速度快，具有一定的抗干扰能力。缺点是待拼接图像重叠区域比较小时，容易造成误匹配，对有一半左右的重叠区域的待配准图像有比较好的效果。所以采集的钣金图像重合度最好在1/2-2/3范围，同时由于一些钣金图像灰度信息不丰富，表面特征稀少，纹理特征少，非重叠区域相似性明显，尤其是对轮廓比较对称的钣金图像更是如此，在使用相位相关法求配准参数时，可能获得的脉冲峰值在相似性明显的非重叠区域，从而导致误匹配。如图2(a)、图2(b)所示，两幅图像重叠部分在中间区域，但是图像边缘的凹槽完全一致，且左图和右图非重叠部分在图像提取轮廓图后也比较对称相似，在这种情况下，如果直接对完整图像利用基于特征点或者相位相关法，会将左右两个矩形识别为重叠区域，如图3所示。

图2 原始图像

图3 特征点匹配

为了解决形状简单、纹理信息少、特征稀少、轮廓比较对称、非重叠区域相似度大造成的误匹配问题，在待拼接的钣金图像中，选择包含重叠区域的等大小的子图像作为待配准区域，对待配准区域提取轮廓，然后对轮廓图利用相位相关法求待配准区域的配准参数，再根据配准区域图像与待拼接原始图像之间的坐标关系转换求待配准原始图像的配准参数。由于轮廓反映灰度相对变化的特征，在图像信息中相对稳定，受光照变化影响相对较小，用来提高相位相关法的健壮性，所以对待拼接图像进行轮廓提取，对二值化轮廓图进行相位相关计算会得到更好的效果。

2.2 图像噪声处理

钣金零件图像采集过程中，由于成像系统内部干扰和外界环境的影响，采集的图像不可避免的含有噪声，噪声损害图像的质量。图像去噪旨在提高图像质量并保留图像轮廓及边缘等重要信息，提高人们视觉识别图像的精确度，为后续图像处理提供可靠保证。所以为了避免噪声影响图像配准的精确性，从而导致误匹配，在图像配准前，选用中值滤波对所选择的配准区域进行噪声滤波。

2.3 基于轮廓的相位相关算法

本文提出的对钣金图像进行图像拼接的具体算法如下：

(1)图像采集：采集待拼接钣金图像f1(x,y)和f2(x,y)；

(2)区域选择：在图像f1(x,y)中f2(x,y)中选取包含重叠区域的等大小子图像作为配准区域，并记录其在原始图像中的坐标，便于后续坐标转换；

(3)图像预处理：对所选取的配准区域进行噪声滤波，保护图像轮廓及边缘信息；

(4)轮廓提取：对去噪后的子图像进行轮廓提取；

(5)相位相关法：对轮廓图进行相位相关法，求两子图像间的配准参数；

(6)求原始图像的配准参数：根据子图像和原始图像的坐标关系，将子图像的配准参数转换为原始图像的配准参数；

(7)图像融合：重叠区域的处理，如果直接将待拼接图像拼接起来或者取两幅图像像素的平均值，在重叠区域会出现明显的拼接缝隙，影响拼接效果。为了实现重叠区域平滑过渡，本文采用渐入渐出法对图像进行融合，渐变因子使用重叠区域像素与其到重叠区域边界的距离设为d(0◁d◁1)，待拼接两幅图像为f1(x,y)和和和f2(x,y)，拼接后结果为f(x,y)，则有公式(5)。

(5)

3 实验结果及分析

该文在待拼接的钣金图像(如图4所示)中选择等大小且稍大于重叠区域的子图像(如图5所示)，对子图像进行轮廓提取获取子图像轮廓图(如图6所示)，然后对轮廓图利用相位相关法求子图像间的配准参数，求得配准区域第二幅图相对于第一幅图水平方向左移2.92个像素，垂直方向上移27.27个像素。根据子图像和原始图像坐标关系转换为待拼接原始图像间配准参数，原始待拼接第二幅图相对于第一幅图左移177.92个像素，上移27.27个像素。根据水平方向和垂直方向平移量，以待配准图像(a)为参考图像，(b)为待拼接图像，将待拼接图像坐标统一到参考图像(a)的坐标系中，如图7所示，可以看到图7重叠区域有明显的拼接缝隙，且缝隙两侧灰度过渡不平滑。为了实现图像的无缝拼接和重叠区域的平滑过渡，采用渐入渐出法对重叠区域进行图像融合，实现重叠区域的平滑过渡，如图8所示。

图4 待配准图像

图5 选择的配准区域图6 配准区域轮廓图

图7 图像统一坐标系效果图

图8 图像融合效果图

对待配准图像加椒盐噪声，如图9所示，利用上述提出的对包含重叠区域的子图像采用基于轮廓的相位相关法求配准参数，求得配准参数仍然为第二幅图相对于第一幅图左移177.92个像素，上移27.05个像素，再利用渐入渐出法对图像进行融合消除拼接缝隙和实现重叠区域的平滑过渡，效果如图10所示。由于基于相位相关法的图像配准被转换为查找归一化互功率谱的傅里叶反变换的峰值位置，只取互功率谱中的相位信息，相位差对于所有频率的作用是一样的，所以相位相关法适用于含有噪声或者不同光照条件下获得的图像间的配准，具有一定的抗干扰能力。

图9 原始图像加椒盐噪声效果图

对待拼接钣金零件图像选择包含重叠区域的等大小区域作为待配准区域，然后分别对待配准区域图像的灰度图和轮廓图

图10 原始图像加椒盐噪声后拼接效果图

利用相位相关法求配准参数，并转换为完整图像之间的配准参数，进行对比，如表1所示。

通过对上述实验结果分析总结可以得出，对轮廓图进行相位相关法求图像配准参数比直接对灰度图进行相位相关法求配准参数更加准确，耗时更少，具有比较好的拼接效果，抗干扰能力强。

4 结论

对图像拼接关键技术图像配准和图像融合进行研究，对特征点比较少、形状简单，纹理结构单一，灰度信息不丰富、轮廓比较对称的钣金零件图像直接利用基于灰度和基于特征点的方法求配准参数，会导致匹配结果存在大量的误匹配，不能得到正确的拼接结果。实验结果表明在待拼接钣金零件图像中选择合适的配准区域并提取轮廓图，再利用相位相关法对轮廓图求配准参数，可以有效避免轮廓比较对称、非重叠区域相似性明显的现象，得到比较准确的配准参数，速度快，具有一定的抗干扰能力和鲁棒性，实现正确拼接，稳定性比较好。

[1] 张建华. 基于灰度的模板匹配算法研究[D]. 呼和浩特：内蒙古农业大学, 2013.

[2] 李厚君. 快速模板匹配方法及其在眉毛识别中的应用[D]. 北京：北京工业大学, 2015.

[3] 汪 松. 在图像配准中基于点特征的匹配算法[D]. 郑州：郑州大学, 2015.

[4] Harris C. A combined corner and edge detector[J]. Proc Alvey Vision Conf, 1988,1988(3):147-151.

[5] Shao M, Shi P, Gu X, et al. An automatic image mosaic algorithm based on SURF detector[J]. Proceedings of Spie the International Society for Optical Engineering, 2011,8009(14):1309-1311.

[6] Kuglin C D. The phase correlation image alignment method[J]. Proc.intl Conf.cybernetics & Society, 1975:163-165.

[7] Zitová B, Flusser J. Image registration methods: a survey[J]. Image & Vision Computing, 2003,21(11):977-1000.

[8] Douini Y, Riffi J, Mahraz A M, et al. An image registration algorithm based on phase correlation and the classical Lucas-Kanade technique[J]. Signal Image & Video Processing, 2017(11):1-8.

[9] 周美丽, 白宗文, 延小进. 基于相位相关法的图像拼接系统设计[J]. 国外电子测量技术, 2015(5):31-33.

[10] 王瑞瑞, 冯伍法, 张 艳, 等. 一种结合相位相关法和AKAZE算法的纹理缺乏地区影像匹配技术[J]. 测绘通报, 2017(4):49-52.