智能制造装备视觉成像技术应用现状

张广宇，朱家昌

（1.无锡中微高科电子有限公司，无锡 214035；2.中国电子科技集团公司第五十八研究所，无锡 214072）

0 引言

机器视觉（machine vision）是人工智能技术的重要分支，应用于智能制造领域时借助数字成像技术采集待测物体的高质量图像信息，使用数字图像处理技术提取有效特征自动完成非接触式的尺寸测量［1］、产品定位［2］、缺陷识别［3］等功能。其中数字成像部分关系着机器视觉在“眼看”的过程中是否会出现亮度失衡、图像虚焦、噪声干扰、对比度低、背景混淆等不理想图像［4］。图像算法处理不理想图像需使用复杂度较高的频域滤波或深度学习等算法进行处理，不仅增加时间，还会提高误检率，甚至影响视觉检测项目的可行性。本文着重总结了视觉成像的相机、镜头、光源等硬件能力的发展现状，并根据硬件参数分析了提高成像质量的方法。

1 视觉成像系统硬件发展现状

1.1 工业相机发展现状

工业相机是将光学模拟信号转换为数字信号的设备，传统工业相机图像传感器一般为电荷耦合元件（charge coupled device，CCD），随着CMOS传感器技术的发展，在最大分辨率、功耗、采集速度及生产成本上都优于传统的CCD传感器［5］。

相机的成像原理是传感器根据光照强度产生对应的电信号，将电信号分级后映射为图像灰度值。根据相机成像位宽，电信号分为256（8 bit）级或4096（12 bit）级，分别对应了图像上的256级灰度或4096级灰度，其中灰度为0表示该像素点为纯黑，灰度值255或4095表示该像素为纯白［6］。

工业相机根据像元（最小成像单元，每个像元对应成像后的一个像素）的排列方式分为面阵相机和线阵相机。面阵相机的像元排列成一个矩阵形式的面，线阵相机的像元排列成一条线，线阵行数根据不同品牌与型号的设计不一样，但一般不超过256行。

目前工业相机的数据传输接口一般有GigE、USB 3.0、CameraLink、COAXpress（CXP）［7］，其中GigE与USB 3.0一般应用于25M以下的中小分辨率的中低频相机的数据传输，CameraLink与CXP应用在29 M以上分辨率或者超高频相机的数据传输。当相机分辨率在25 M及以上或使用Camera⁃Link、CXP的数据接口时，需在主机上安装专用采集卡进行图像数据预处理，否则会占用主机较多计算资源。

1.2 镜头发展现状

工业镜头的选取影响着成像质量、检测精度、相机工作距离等要素［8］。工业镜头主要分为FA镜头与远心镜头两大类，普通FA镜头主要有焦距、景深、光圈、靶面尺寸、视场角、解析力等参数，一般具有调节光圈与对焦的功能。

由于光线在透镜边缘比在透镜中心弯曲程度更大，从而导致实际成像时产生径向畸变，使图像失真，一般通过张氏标定方法，借助已知尺寸的棋盘格，计算出相机内参，再通过算法对每次采集的图像进行矫正，减少畸变对成像的影响。

远心镜头是一种特制镜头［9］，主要有景深、靶面尺寸、放大倍数、工作距离等参数。有些远心镜头侧面有点光源接口，可与点光源组成类似同轴光使用。远心镜头避免了FA镜头因凸透镜带来的各种问题，没有畸变且视场角为0，如图1所示，与常规FA镜头比视线垂直于物体，减少了很多侧面干扰，且镜头放大倍数恒定，多用于高精度尺寸测量、高精度表面缺陷AOI上。

图1 大视场角镜头与远心镜头成像效果

1.3 光源发展现状

光源为视觉系统提供照明，合适的光源可增强缺陷与背景的对比度，抑制噪声与背景对缺陷成像的干扰，大大降低检测算法的复杂度，提高检测效率［10］。

目前机器视觉使用的光源一般使用能效比较高、寿命较长的LED灯珠组成，外壳选采用热较好的铝材，表面涂装黑色氧化层，防止环境光在表面反射对成像产生干扰。光源根据灯珠发光波长分为白光、红光、绿光、蓝光、红外、紫外光源；根据光源几何结构与出射光种类分为环形光、面光、点光、条形光、同轴光、球积分光等基础类别，同时环形光与条形光可根据项目的具体要求选择在发光口添加高亮度漫反射板、高均匀性漫反射板或准直板来调整光线出射方式，所以工业上AOI可使用的光源种类非常多［11］。

2 数字成像质量提升技术

2.1 相机选型调参技术

工业面阵相机分辨率范围在5～151 M，主要优势是借助面阵相机密集排列的像元生成的图像坐标与世界坐标的标定后完成物品尺寸测量、二维定位、角度测量等高精度测量功能。面阵相机用在待检物品长宽比适中、表面平整、尺寸较小的应用场景，高精度测量时需注意搭配使用畸变较小、视场角为0的远心镜头［12］。

工业线阵相机分辨率范围在2～23 K，主要优势是单次只完成图像上N行像素成像，再通过软件按照设定参数拼接为一张完整图像，成像时不需要考虑视野的长宽比、圆柱形待测品的曲面度等因素，具有较灵活的成像方式，适用于待检物品长宽比较大或圆柱表面成像的应用场景［13］。在圆柱形齿轮侧面成像过程中，如图2（a）所示，面阵相机需分多次拍摄，且每次成像效果不清晰。图2（b）所示线阵相机可在设置相关参数与齿轮转速匹配后持续成像，且成像效果较好。

图2 面阵相机与线阵相机成像差异（续）

图2 面阵相机与线阵相机成像差异

线阵相机需搭配电机使用，拍摄时要求相机与产品在检测方向上有相对的匀速运动，且移动速率与相机相机相关参数匹配，使得每次线阵相机采集区域都是刚好紧邻上一次采集区域的边缘，否则在成像效果上会出现产品移动方向上的图像压缩或拉伸，影响后续图像算法的检测效果。根据定义，线阵相机与待测物品相对速度为：

其中，v表示相对线速度，fgrab表示线阵相机采集频率，lpixel表示图像单像素对应实际空间尺寸。若产品在流水线上匀速运动，可根据光电传感器判断产品是否已经进入拍摄位，控制线阵相机采集图像的时间。在采集圆柱形产品侧面图像时，需保证圆柱形产品达到匀速旋转后方可进行图像采集，采集时间为：

其中，t表示线阵相机采集时间，R表示圆柱形产品的半径。根据上述公式调整相关参数后，还需使用棋盘格对线阵相机采集效果进行验证。通过计算棋盘格在运动方向与垂直方向上的比值，获取图像缩放比例，再通过调整相机采集频率或相对移动速度进行校正。

2.2 检测精度提升技术

视觉检测精度是衡量机器视觉系统最小可检测空间尺寸的标准，在尺寸测量、物体定位、缺陷检测等应用中是关键技术指标。影响机器视觉系统检测精度的因素主要来源于成像系统硬件参数与检测算法，且成像系统的硬件参数为主要原因。在成像过程中，光信号由镜头进行光路控制后聚焦到相机靶面上，相机靶面将光信号由模拟信号转化为数字信号，最终生成位图图像。所以影响检测精度相关参数主要有相机分辨率、镜头放大倍数、镜头分辨率等，且镜头分辨率需大于相机分辨率［14］。成像的过程可以看作将三维世界在相机方向进行投影变换后映射到离散的二维图像像素中，单像素与实际空间尺寸的对应关系为：

其中，lp表示单像素对应的空间尺寸，也可称为相机实际采样间距，lp的数值越小，表明像元截止频率越大，检测精度越高。lcell表示相机像元尺寸，Χlens表示镜头的放大倍数。

图3 传统镜头光路示意图

使用传统工业镜头成像时的光路信息示意图如图所示，由相似三角原理可知：

其中，f为镜头焦距，WD为镜头到视野面的距离，W为视野尺寸，w为相机靶面尺寸。根据放大倍数定义可知：

由式（6）可知，在检测算法不变的条件下，lcell与WD的数值越小，f的数值越大，机器视觉检测精度越高。在对工业相机进行选型时，理论上像元尺寸越小对应的检测精度越高。但像元尺寸过小，成像则易受电噪声的影响导致图像信噪比（signal noise ratio，SNR）下降，所以选用像元较大的相机搭配放大倍数较大的镜头成为检测精度优化的主要方式。同时相机的视野与镜头放大倍数的关系为：

其中SFOV表示相机视野，Npixel表示相机像元数量（相机分辨率），当Χlens数值过大会导致视野SFOV变小，需要根据实际项目检测范围尺寸需求计算相应硬件参数。工业镜头分辨率主要被像差及光的衍射影响，像差的产生因素主要是由于透镜曲面的中心与边缘对光线的折射不同导致，分为色像差（chromatic aberration）与赛德尔的五像差（five aberration of seidel），通过选择校正到瑞利极限高质量工业镜头可以将像差影响降至最低。所以影响镜头分辨率的主要因素来源于光的衍射，判别镜头分辨率的主要标准为瑞利准则（rayleigh crite⁃rion）：

其中，l表示镜头能分辨的最小直径，f为镜头焦距，R为镜头入瞳半径，λ为光线波长，目前工业镜头分辨率可以满足工业相机最小分辨率的需求。

2.3 对比度增强技术

为降低图像算法复杂度，机器视觉成像时需尽量增强感兴趣区域的成像效果，抑制背景（干扰区域）的成像效果，尽量增强前景与背景区域的对比度，从而提高视觉系统的检测效率与检测精度［15］。理想的成像对比度是感兴趣区域为白色（灰度值为2n-1，n为相机成像位宽），背景区域为黑色（灰度值为0）。对比度增强需根据不同视觉检测场景、待测品外观、材料特性设计出不同的方法。

对有凹凸结构的产品表面成像，如检测产品表面结构纹理、异物、划痕、裂纹等缺陷可使用暗场照明方式，使产品表面凹凸区域成像明亮，平整区域成像暗淡，提高凹凸区域与背景的对比度，抑制平整区域图案灰度信息对检测凹凸区域成像的干扰,照明效果与明场对比如图4所示。

图4 相同物品明暗场照明效果差异

暗场照明仅在平滑表面可取得良好的成像效果［16］，如平整的玻璃、金属、硅晶片等材料构成的产品，若用在粗糙表面在成像上反而会产生遍布整个面的干扰亮点，使成像无法使用。

测量非透明产品尺寸或需要基于边缘的定位应用中，使用面光背面照明，使产品边缘清晰成像，产品区域灰度值很低，非产品区域灰度值很高，对比度高易于区分。

对于颜色干扰较多的产品表面，可使用与目标颜色相近的彩色光源或使用多光谱光源进行照明，同时搭配单通道相机。或使用与目标颜色相近波长的滤波片，将干扰光滤除。对于产品表面光滑，易被环境反射光干扰的，由于反射光为偏振光，可使用偏振片对反射光进行滤除，偏振片加装前后效果对比如图5所示。

图5 偏振片加装前后成像效果对比

对于一些纹理复杂的产品，如图拉丝钢板或皮革表面的刻印码使用传统成像方式效果很差，无法识别。需借助3D视觉成像技术完成对产品表面的深度信息采集［17］，通过对深度信息进行阈值处理即可得到清晰的刻印码。图6即为拉丝钢板刻印码成像效果（左）与深度信息阈值处理后的效果（右）对比。

图6 拉丝钢板刻印码成像效果对比

2.4 噪声抑制技术

数字成像中图像噪声主要来源于电噪声，噪声过多影响算法检测精度，增加算法复杂度。抑制成像产生的噪声主要是抑制电噪声对成像的影响。

相机生成图像原理是将曝光时间内采集到的电荷总量通过电容转换为电压，曝光时间越长，累积的电荷越多，生成的图像灰度值越大。电噪声中主要的散粒噪声来源于相机像元将光信号转换为电信号时由于量子涨落产生的随机波动，当曝光时间越长散粒噪声累加后对图像灰度值影响越大［18］。所以当照明环境比较暗时，实际的光信号较弱，同时设置的曝光时间会增加，导致电噪声对成像的影响大于对应像元获取的光信号影响，图像产生较多的白噪声，使用图像降噪算法处理后使图像细节丢失，造成检测精度下降。在成像上抑制散粒噪声的方式为增加光源亮度，调大镜头光圈，使光信号强度增加；同时减小相机曝光时间，减少噪声对电信号的影响。调大光圈可减少镜头内部灰尘对成像的影响，但同时会减少景深，需根据实际情况选择合适的F值；抑制噪声的同时需控制图像整体灰度值防止相机过曝。

3 结语

应用于工业机器视觉的数字成像技术为后续的图像算法处理提供高质量产品图像，需根据产品表面光学属性与检测需求进行成像系统设计。使感兴趣区域的成像效果增强，同时抑制干扰因素对后续算法处理的影响，从而降低算法复杂度。数字成像技术作为机器视觉的基础，涉及基于透镜的光路控制、光信号的A-D转换、照明系统设计等光学技术，也包含基于图像算法原理来选择数字成像质量的优化方向。在对成像核心硬件的充分了解下，根据机器视觉检测目标及技术指标对相机进行选型、对成像分辨率进行优化、对前景与背景成像对比度进行优化、对成像噪声进行抑制，从而提高图像算法的检测精度与检测效率。