基于机器视觉的柱面标签缺陷检测方法

梁桥康，谢兵兵，郭东妮，孙 炜，王耀南

（1.湖南大学电气与信息工程学院，长沙410082；2.电子制造业智能机器人技术湖南省重点实验室，长沙410082；3.机器人视觉感知与控制技术国家工程实验室，长沙410082）

1 引 言

标签作为商品的一部分，代表着商品本身的身份信息，标签质量的好坏影响着商品的外表美观、销售份额以及间接关系着企业生产该商品所能带来的经济效益。在饮料瓶进行热缩套标和运输时，可能会造成标签的损坏。随着近些年来机器视觉领域技术［1］的快速发展，越来越多的饮料食品包装行业选择将机器视觉系统应用于食品流水生产线上，机器视觉检测系统［2］具有检测结果稳定、检测速度快，检测精度高以及可以在人类所不能适应的恶劣环境下工作等一系列的特点，所以对饮料食品的柱面标签进行缺陷检测对于现实生活中的工业生产具有重要的意义。

为了适应当代社会日益增长的物质需求，基于机器视觉的高速无人自动化检测系统越来越多的被研究学者提出且应用于企业的生产当中。文献［3］利用LED 照明管道的环形内表面，研制了一种用于管道内表面的全景光学环形凝视检测系统，该系统可以将采集到的环形图像展开为矩形图像以便于后续的缺陷检测；文献［4］提出了一种快速、易于实现的均匀纹理和非织构表面图像缺陷检测的规律性测量方法，该方法能够检测出微小的缺陷；文献［5］开发了一种用于马铃薯检验和分级的高速彩色机器视觉系统，该系统对马铃薯图像一系列特征值进行分析处理，从而能对马铃薯的大小、形状和外部缺陷进行分级处理；文献［6］针对空调标签利用图像差分算法检测标签是否存在缺陷，采用基于等价类行程算法标记出标签缺陷的目标区域，但是该方法只适用于平整的而且形状规整的矩形标签；文献［7］提出了一种四相机对饮料瓶标签进行检测的方案，此方法缺陷检测效果有限；文献［8］利用了光路的折返原理以及异步式采集模式，并采用光学结构实现检测，此方法对设备的位置精度和安装精度要求比较高。

现有的缺陷检测技术难以适应柱面标签检测需求，因此本文设计了一种饮料柱面标签缺陷检测系统，重点研究了柱面标签的畸变以及矫正补偿、多相机采集图像的拼接融合和标签缺陷检测算法的设计。

2 检测系统结构设计

2.1 系统结构及其检测原理

为了获取完整的柱面标签图像，需要从不同的角度来获取饮料柱面标签各个方位区域的图像信息，从而才能实现对柱面标签的缺陷检测。基于机器视觉的柱面标签缺陷检测系统的结构方案如图1所示。该系统主要由视觉检测单元、控制器单元以及剔除单元构成。

图1 检测系统框架设计图Fig.1 Inspection system frame design

（1）视觉检测单元：如图1所示，4 台CCD 彩色相机、4 个LED 条形光源以及光电传感器组成了视觉检测单元，其中相机与相机两两之间互成90°，从而可以全方位多角度的获取标签图像信息。

（2）控制器单元：由1台工业控制计算机和1台PLC 控制器构成。工控机负责人机交互以及对相机采集到的图像进行处理；PLC 控制器负责底层的电气运动控制，工控机将检测到的结果发送给PLC，PLC则执行相应的指令动作。

（3）剔除单元：由剔除器构成，当有缺陷的标签次品运送至剔除器的位置时，PLC 控制器将向剔除器发送指令并将该饮料瓶进行剔除。

考虑到工业现场上的光线条件不理想，本系统采用四个条形光源对系统装置内进行打光，为使光线充满视觉成像单元内，四个光源同样两两互成90°，而且考虑到光线是否在各方向均匀散射，在检测柜的内壁采用了漫反射结构，使得光源在各个方向上散射的光线基本是均匀的，这样相机采集到的标签图像质量具有一定的稳定性而且不受光照不均匀的影响。

2.2 系统的检测流程

柱面标签缺陷检测系统是机器视觉与图像处理技术在实际企业生产中的典型应用。在满足检测要求的情况下，使检测系统的图像处理算法快速、简单、有效是本文研究的重点。

检测系统的运行过程如图2所示，经热缩套标后的饮料瓶，经传送带运输至检测系统的检测柜内，首先检测相机光源等是否连接完好，一切连接正常后通过光电传感器检测饮料瓶是否经过指定位置，如经过将触发工业相机进行图像采集；然后对采集到的标签图像进行预处理，包括平滑滤波处理、柱面标签反投影校正等；将预处理之后的标签图像进行拼接融合，形成一幅完整的标签展开图；其后利用饮料颜色与标签的颜色信息，通过颜色空间的双阈值以及形态学处理算法来判断该标签是否具有缺陷，PLC控制器将该检测结果对应到相应的饮料瓶上，如具有缺陷当饮料瓶运送至剔除器工位时，PLC 将向剔除器发送指令将该饮料瓶进行剔除。

图2 系统检测流程图Fig.2 Flow chart of system inspection

3 检测系统算法设计

3.1 柱面反投影校正

饮料标签在套标之前是平面标签，在热缩套标时将标签粘贴在饮料瓶上，使得标签呈柱面形状，所以饮料瓶上的标签在水平方向和竖直方向都存在着一定的畸变。这样造成了一定程度上标签图像信息的损失，文献［9］提出一种柱面反投影算法，但是该方法计算过程较为复杂，难以满足工业生产中的实时性要求；文献［10］提出了一种圆柱曲面模型来描述在装订成册的文档形成的曲面与其为平面状态时之间的关系；文献［11］提出了一种基于二次曲线分割（CS）的方法来校正粘贴在柱面上的二维码图像所产生的畸变。

如图3所示，其中弧线AD 表示饮料柱面，A′D′表示柱面展开后形成的平面，点P 为柱面上的一点，x为点P到OO′的垂直距离，x′为弧线PO′展开后实际的长度，根据对应位置关系计算出其关系式如式（1）所示：

图3 柱面水平校正关系图Fig.3 Cylindrical horizontal correction

在垂直方向上由于相机在成像时会根据物体的远近不同而产生透视畸变，透视畸变的特点为当物体离镜头越远则该物体在相机上所成的像也就越小。

垂直方向畸变如图4所示，圆柱的后半部分被遮挡了，所以在图像上只能观察前半部分的圆柱面。图中点Pfront和点Pback都位于圆柱上的同一高度，其中由于柱面的原因Pfront为离相机最近的点，所以在图像上Pback为柱面上离相机最远的点，由此导致同一高度的点在成像时具有了不同的高度，在图像平面上的相应位置分别为P′front和P′back，通过相似关系可以得到：

其中hf和hb分别表示在图像上点P′front和P′back的纵坐标值，d为镜头至物体之间的距离。

图4 柱面垂直校正关系图Fig.4 Cylindrical vertical correction

经过水平以及垂直方向上的校正补偿即可对柱面标签进行近似的展开，其后通过双线性插值算法对缺失的像素点进行近似计算，如图5所示，可以看出经过校正后的图像（b）已经非常近似于平面标签。

图5 柱面标签校正对比图Fig.5 Image of cylinder label calibration contrast

3.2 标签图像拼接融合

完成柱面标签的反投影校正后每一对相邻的标签进行图像配准［12-13］找到对应位置关系，然后对其进行拼接融合处理［14］，其中渐入渐出算法是常用的拼接融合方法，其权重是成线性变化的，受其启发可以将其权重变为非线性［15-16］，使拼接过渡自然，于是将其线性函数权重改进为基于sigmoid 函数的权重，sigmoid函数表达式如式（3）所示，其权重ωs的变化如图6所示。

图6 sigmoid函数权重变化图Fig.6 Sigmoid function weight change graph

权重ωs的表达式如式（4）所示，其取值范围为（0，1），其中i表示重叠区域中的像素点在图像水平方向上的坐标值，L和R分别表示重叠区域的左边界和右边界水平方向上的坐标值，通过调节k值大小来改变sigmoid函数的变化趋势。

根据权重ωs则可对两图像进行拼接融合，而重叠区域的像素点灰度值计算公式如式（5）所示：

3.3 缺陷检测算法设计

在饮料瓶的标签进行包装套标时，会由于标签热缩机不均匀而导致塑料薄膜标签的破裂，而破裂后的区域显示的是饮料液体本身的颜色。针对饮料液体本身的颜色信息特征再结合标签的颜色，可以对饮料液体自身的颜色进行提取，即将饮料液体颜色作为前景，标签信息较为复杂且不具有统一性，即作为背景。本文提出了一种基于颜色空间的双阈值算法来进行标签缺陷检测，该算法基于RGB和HSV两种颜色空间，RGB颜色空间是计算机技术中最常用的颜色表示方式，而HSV颜色空间是根据人类对于颜色的直观特性而提出来的，比较接近于人类对色彩的感知方式，而且对环境中的亮度干扰具有一定的稳定性。

图7 柱面标签拼接展开图Fig.7 Cylinder label mosaic image

在颜色空间下针对饮料液体自身的颜色特征，分别统计饮料液体RGB 空间下三通道的均值Rm、Gm、Bm以及HSV 三通道的均值Hm、Sm、Vm，然后设计一个上下阈值，如式（6）～（7）所示：

然后根据筛选出来的像素点进行连通形成一个个区域，对这些区域作形态学处理中的闭操作运算，最后对这些区域作并集运算即可将破裂的标签区域分割出来，如图8中红色区域所示。

4 结束语

本文针对饮料柱面标签提出了一种基于机器视觉以及图像处理技术的标签缺陷检测系统。该系统能够全方位的获取标签的图像信息，提出了柱面反投影补偿算法以及基于颜色空间的双阈值标签缺陷检测算法，该算法计算量较小，运行速度较快，对于饮料柱面标签破损具有良好的检测效果。系统具有很好的实用性，可以对近似于圆柱体的饮料柱面标签缺陷检测，有望在饮品行业进行广泛的推广应用。

图8 标签缺陷检测示意图Fig.8 Label defect inspection Image