针对复杂纹理的手机外壳缺陷检测方法

张 伟 曾 碧

(广东工业大学计算机学院 广东 广州 510006)

针对复杂纹理的手机外壳缺陷检测方法

张 伟 曾 碧

(广东工业大学计算机学院 广东 广州 510006)

针对手机表面存在纹理复杂、缺陷细小和缺陷多样性等特点，提出一种应用于复杂纹理的手机外壳缺陷检测方法。该方法首先对手机外壳表面划分区域进行放大处理，并抑制放大后的纹理。然后进行图像的主结构提取，再采用一种自适应边缘检测Roberts方法来进行缺陷轮廓提取。最后运用一系列的中值滤波、形态学运算等方法来综合处理并提取缺陷。实验表明，对手机外壳的划痕、污渍等缺陷误检率低，具有良好的检测效果。

缺陷检测 纹理抑制 边缘检测 中值滤波 数学形态学

0 引 言

近年来，表面缺陷检测技术广泛地应用在钢材、织物、木材等方面，而随着工业机器人的兴起，手机外壳打磨抛光开始走向自动化。而在手机外壳打磨抛光的过程中，由于手机外壳专有的特性和光洁度的需求，准确检测出手机外壳细小划痕、污渍等缺陷是实现自动化的重要的一步。

有关表面缺损检测方法一直都是学者和工业界研究热点。2008年，Xie[1]从纹理分析表面缺陷检测总结了统计、结构、模型等方法，并仔细对各个方法进行了分析和比较。2014年，罗菁等[2]针对表面缺陷检测技术总结出三类方法：统计法、频谱法和模型法，并分别比较了各类检测方法的算法性能、应用场景等优缺点。2009年，Mak等[3]设计了一个优化的形态学滤波器来增强图像缺陷和背景的对比度，最后用阈值法检测其表面缺陷，有效地解决了缺陷和非缺陷之间的低对比度问题。2011年，Zhang等[4]利用小波平滑方法去除图像中的噪声，然后对图像进行二值化并提取5个谱特征作为支持向量机的输入，最终实现7种缺陷检测，解决了噪声对缺陷提取的影响。在表面缺陷检测中，Gabor滤波也是一种很好的检测方法。2014年，宋迪等[5]针对手机配件划痕提出了一种基于Gabor和纹理抑制的手机配件划痕检测算法，先对图像进行Gabor滤波，提取出划痕的骨架结构，利用各向异性纹理抑制方法抑制金属表面的纹理，再用滞后阈值准确提取划痕。

但总的来说，由于金属表面的复杂纹理和缺陷较小，很容易造成误检或者漏检。由此本文综合分析了目前复杂底纹的缺损检测方法，并结合手机外壳打磨抛光项目需求，提出了一种基于机器视觉的手机外壳复杂纹理缺陷检测算法。首先对手机外壳进行区域划分放大，抑制放大后的纹理，再结合自适应Roberts算子、中值滤波和形态学运算等方法进行综合处理，最终实现多种缺陷的提取。

1 缺陷检测总体框架与流程

手机外壳一般具有复杂纹理，而且其缺陷比较细小，不容易察觉。如果直接使用边缘检测、Gabor滤波等方法，很难完全排除纹理的干扰，容易造成误检。本文针对缺陷的细小、结构类型不同等特征，先对手机外壳进行区域划分。然后采用Micro Capture数码显微镜放大，根据观察各个区域放大的结果，将缺陷分为划痕、擦痕、缺损、污渍等四种缺陷。如图1所示。

图1 四种缺陷

针对四种缺陷的特点，本文提出了一种基于机器视觉的手机外壳复杂纹理缺陷检测算法。该算法的主要功能流程模块图如图2所示。

图2 功能流程模块图

具体的算法流程如下：

1) 输入原始图像，转化为灰度图，合理选择纹理抑制参数，进行各向异性的纹理抑制，提取图像的主结构；

2) 选取和计算边缘检测的自适应阈值，对纹理抑制后的图像进行Roberts边缘检测，提取缺陷的轮廓；

3) 对边缘检测的结果进行快速中值滤波，并创建任意形状的结构元素进行腐蚀和膨胀等数学形态学的消噪处理；

4) 采用八联通区域法标记缺陷候选区域，进行面积筛选，删除一些虚假缺陷区域，并输出二值化的缺陷图像，返回筛选出的缺陷坐标。

2 缺陷主轮廓的提取

2.1 各向异性的纹理抑制

从图1中可以看出其表面除了缺陷类型各异外，还具有复杂的纹理背景，如果直接进行边缘检测，噪声较多，不宜提取缺陷。本文用Canny、Roberts等边缘检测算子对划痕缺陷进行实验，结果见图3。

图3 边缘检测结果

从图3的边缘检测结果可以看出：在复杂背景下单纯地使用边缘检测算子处理，噪声较多，无法准确地提取缺陷位置。为了消除复杂纹理背景对缺陷提取的干扰，需要考虑对复杂纹理背景进行纹理抑制。在图像去噪的问题上，总变分(ROF)模型是一种广泛应用在图像重构、复原、去噪的方法，ROF模型定义为[6]：

(1)

2012年，Li等[7]提出一种改进，模型如下：

(2)

其中：I代表输入图像，p代表2D图像像素的索引，S代表输出结构图像。

(3)

q是以p点为中心的一个正方形区域内的所有的像素点的索引，g为高斯函数。

(4)

根据文献[7]，在式(2)-式(4)中有4个参数，分别是λ、σ、ε、T。λ是一个权重系数，主要是用来控制图像的光滑程度，过度减小λ会导致纹理难以分割，过度增加λ会造成图像的模糊，导致类似擦痕、缺损等缺陷细节过滤掉。λ的范围为[0.01,0.03]，这里取0.015。空间尺度参数σ的选取取决于纹理的尺度大小，该参数在结构纹理分离过程中至关重要，过大或者过小都会导致划痕、擦痕等与纹理难以分割，设置范围是(0，8]，这里设为3。参数ε与最终输出图像的清晰度对应，它的值越小，结果越清晰。由于划痕、污渍缺陷整体结构比较完整，当ε减小时越容易提取缺陷。ε范围为(0.001,0.03]，设为0.02。T表示迭代次数，理论上只需3～5步就可以达到收敛状态。由实验可知，T只要取2就可以达到比较好的效果，以减少迭代时间。

在计算式(2)时，相当于求解Ax=b(A为n阶对称正定矩阵)，而对于大型稀疏矩阵，共轭梯度法是一种求解大型稀疏矩阵比较好的办法，可以得到比较精确的解。但由于共轭梯度法收敛比较慢，预处理共轭梯度法[8]对系数矩阵作预处理，以加速迭代速度。将方程组Ax=b写为：C-1Ax=C-1b，其中M=CTC为预处理因子矩阵，当M与A矩阵结构近似时收敛速度越快。纹理抑制后结果如图4所示。

图4 纹理抑制结果

2.2 自适应阈值的Roberts边缘检测

在图像处理中有着很多种的边缘检测算子，例如：Canny算子、Roberts算子、Sobel算子等，其中Canny算子是传统算子效果较好的算子之一，对强边缘检测具有很好的效果，但对弱边缘检测反而欠佳。因为手机外壳表面的纹理比较多，用Canny算子很容易把类似细小划痕的一些弱边缘给过滤了，所以这里采用对噪声比较敏感的Roberts算子。Roberts算子[9]是一种采用对角方向的两相邻两像素之差，用局部差分算子寻找轮廓边缘的算子，相比其他算子，Roberts算子在手机外壳表面可以检测到比较多的细节，其表达式可以写为：

(5)

其中：f(x,y)是图像灰度分布函数，g(x,y)为Roberts边缘检测算子。如果用差分代替一阶偏导，而且为了避免负数，采用绝对值，其表达式写为：

g(x,y)=|Δxf(x,y)|+|Δyf(x,y)|

(6)

通常也将式(6)写成：

g(x,y)= |f(x,y)-f(x+1,y+1)|+

|f(x,y+1)-f(x+1,y)|

(7)

图5 阈值曲线计算图

根据图5的阈值曲线计算图，阈值计算公式为：

(8)

采用式(8)计算后的边缘检测如图6所示。

图6 四种缺陷边缘检测后的结果

3 缺陷位置的精确筛选

3.1 快速中值滤波

中值滤波[11]是一种非线性的图像平滑法，原理是通过对图像中每一个像素点邻域中的像素按灰度级进行排序, 然后选择该组的中间值作为输出像素值。传统中值滤波[12]定义为：

g(x,y)=med{f(xi,yj)} (i,j)∈M

(9)

其中:g(x,y)为输出，f(xi,yj)为图像的像素(xi,yj)的灰度值，M为模板窗口，med{·}为取中值操作。在手机外壳的缺陷检测中，由于传统的中值滤波计算量太大，采用一种均值加速的快速中值滤波算法[13]，其思想步骤如下(以3×3窗口为例)：

(1) 计算9个像素灰度值的平均值,以均值为界，将其分为两个集合，舍弃个数少的集合；

(2) 另一集合个数若超过半数，再求均值，并对其分裂，直至得到两个集合个数都小于半数，取个数多的一个集合；

(3) 最终对集合进行快速排序，得到中间值。

在实验时，快速中值滤波其时间复杂度小于常规算法的一半。本文为了能充分消除噪声而防止过滤掉缺陷的细节，适当创建结构元素对图6边缘检测的结果进行膨胀处理。在快速中值滤波时，如模板过大容易把擦痕等缺陷细节滤掉，而过小则不能很好消噪，最终选取5×5模板。结果如图7所示。

图7 四种缺陷滤波后的结果

3.2 数学形态学运算消噪

形态学运算[14]作为一种非线性滤波器，其思想是用一定形态的结构元素去量度和提取图像中的对应形状来进行图像分析和识别。主要运算有：

(1) 腐蚀，是消除物体所有边界点的过程，使剩下的物体沿其周边比原物体小几个像素。定义为：

E=B⊗S=|x,y|Sxy⊆B|

(10)

其中：S为结构元素，腐蚀的结果就是把结构元素S平移后使S包含于B的所有点构成的集合。

(2) 膨胀，是将与物体接触的所有背景点合并到该物体中的过程，使物体的边界增大了。定义为：

D=B⊕S=|x,y|Sxy∩B≠∅|

(11)

膨胀的结果就是把结构元素S平移后使S与B的交集非空的点构成的集合。本文对图7先进行灰度形态学闭运算(先膨胀后腐蚀)，然后再进行灰度形态学开运算(先腐蚀后膨胀)，有效地对缺陷连通区域进行整合，缺陷细小边缘被消除掉，边界也变得较平滑，最后为了有效的消噪，进行7×7模板的中值滤波，并进行内部填充。结果如图8所示。

图8 四种缺陷消噪填充后的结果

3.3 标记缺陷候选位置与筛选

经过一系列的滤波和形态学运算后，为了更方便地对缺陷候选区域进行特征判别，本文首先对处理后结果中的各个分离部分进行标记。对连通区域进行标记后，得到n个标记的连通区域，第i个连通区域的像素值标记为i(i=1,2,…,n)。这里采用了8连通邻域(像素的邻域即像素周围的八个点)来确定某一像素所属的标签。如果其相邻任一点已被标记标签，就将当前像素以该标签标记，否则，就采用一个新的标签来标记当前像素。

对图8消噪后的结果进行标记之后，还是存在一些比较明显的噪声。对于缺陷来说，虽然它在图像中的面积大小、形状都是不确定的，但可以明确那些过于小的区域肯定不是缺陷位置。假设图像的总面积为area，其各个候选区域的面积area(i)(其中：i=1,2,…,n)时，当其面积比例小于η(在这里设置为0.002)时，很有可能是一些较小的图像噪声等，这样就可以根据面积比例来删除一些虚假区域，可以实现较好的缺陷筛选处理效果。

通过面积比，可以得到结果如图9所示。

图9 四种缺陷最终筛选后的结果

4 实验结果与分析

4.1 实验环境与结果

整个实验的环境是一台4 GB内存的PC机，实验材料采用是东莞川崎机器人有限公司提供的手机外壳，实验图像数据来源是采用Micro Capture数码显微镜采集和放大，规格为640×480，104 KB大小，实验采用MATLAB进行仿真实验。总的来说，四种缺陷中缺损和污渍的结构是整体化的，对纹理抑制参数λ、σ、ε、T适度增大或者减小、中值滤波的模板大小、数学形态学膨胀腐蚀次数的大小等实验参数的敏感度是比较低的。而划痕和擦痕由于缺陷结构比较分散，例如中值滤波的模板过大(选取9×9模板时)可能会过滤掉缺陷细节，造成多处的断点甚至漏检。实验仿真界面如图10所示。

图10 实验仿真界面及结果

本文算法原理已实际应用基于机器视觉的手机外壳打磨抛光项目中，其中视觉检测平台和装置布局图如图11所示。在实验中缺陷检测将返回其图像的坐标，并为后续的打磨抛光工作做准备，最后利用光切显微镜对其进行表面粗糙度的检测。

图11 实际检测布局图

4.2 实验数据分析

为了比较算法的优劣性，针对Gabor滤波、FT显著性检测和本文算法进行了比较测试。Gabor函数是一个用于边缘提取的线性滤波器，在纹理抑制的基础上取5个频率，8个方向，共40个Gabor核函数，进行处理后选择最好的结果。如图12所示。

图12 Gabor检测结果

与本文处理结果(图9)相比，可以看出Gabor线性滤波器对于大范围的噪声处理还是不错的，但细节处理得不够好，会造成多处的断点甚至漏检。

FT显著性检测主要是针对图片的显著性区域进行检测，结果如图13所示。

图13 显著性检测结果

经过实验，发现FT显著性检测对缺损、污渍等处理效果较好，对划痕、擦痕效果比较差，原因是因为擦痕与背景混合在一起，比较难以分割。

最后为了验证算法和其他算法的准确率，针对手机外壳划痕、擦痕、缺损、污渍四种缺陷，采集了总共150张640×480的四种缺陷照片进行测试实验。系统测试结果数据报表如表1所示。

表1 系统测试结果数据报表

从表1可知：Gabor滤波、FT算法的检测效果并不是很好，尤其是在检测擦痕的时候，准确率低于50%，容易造成误检。而本文方法在划痕、污渍等四种缺陷的准确率都在90%以上。综上所述，该算法在此类纹理背景具有良好的检测效果，而大量的实验结果表明，用该算法检测不同缺陷具有准确率高、适应性强的特点，并且有着很好的鲁棒性。

5 结 语

本文围绕纹理复杂、缺陷细小和缺陷多样的手机外壳缺损检测问题，提出了一种针对复杂纹理的手机外壳缺陷检测方法。该方法首先用纹理抑制的方法，并运用共轭矩阵方法进行计算处理，有效实现图像的纹理抑制。然后通过自适应的Roberts方法来进行边缘检测，得到缺陷的轮廓。最后通过一系列的滤波和数学形态学运算提取出缺陷。经实验表明，这种方法具有良好的检测效果，对划痕、缺损、污渍等缺陷都具有较好的鲁棒性，能够有效地检测出手机壳表面细小划痕、污渍等多种缺陷。

[1] Xie Xianghua.A review of recent advances in surface defect detection using texture analysis techniques[J].Electronic Letters on Computer Vision and Image Analysis, 2008,7(3):1-22.

[2] 罗菁, 董婷婷, 宋丹,等. 表面缺陷检测综述[J]. 计算机科学与探索, 2014,8(9):1041-1048.

[3] Mak K L, Peng P, Yiu K F C. Fabric defect detection using morphological filters[J].Image and Vision Computing, 2009,27(10):1585-1592.

[4] Zhang Xuewu, Ding Yanqiong, Lü Yanyun, et al. A vision inspection system for the surface defects of strongly reflected metal based on multi-class SVM[J].Expert Systems with Applications, 2011,38(5):5930-5939.

[5] 宋迪,张东波,刘霞.基于Gabor和纹理抑制的手机配件划痕检测[J].计算机工程,2014,40(9):1-5.

[6] 谢可龙,刘朝霞.对图像处理中ROF全变分模型的两种算法的比较研究[J].中央民族大学学报(自然科学版).2014,23(1):93-96.

[7] Xu L, Yan Q, Xia Y, et al. Structure extraction from texture via relative total variation[J]. Acm Transactions on Graphics, 2012,31(6):139.

[8] 朱崇利. 预处理共轭梯度法在电磁正演中的应用[J].科学技术与工程, 2013,13(22):6553-6556.

[9] 毕卓, 韩冰. 抗噪Roberts算子边沿检测器[J].计算机技术与发展,2013,23(6):258-261.

[10] 康牧,许庆功,王宝树.一种Roberts自适应边缘检测方法[J].西安交通大学学报,2008,42(10):1240-1244.

[11] 乔坤,郭朝勇,毛东.一种去除椒盐噪声的自适应开关中值滤波算法[J].计算机应用与软件, 2011,28(10):253-256.

[12] 李国燕, 侯向丹, 顾军华,等. 快速中值滤波算法的改进及其FPGA实现[J]. 电子技术应用, 2013,39(2):137-140.

[13] 鲍华, 樊瑜波, 饶长辉,等. 基于均值查找的快速中值滤波算法[J]. 四川大学学报(工程科学版), 2011,43(2):76-79.

[14] 贺萌,易秀英,汤林,等.基于自适应形态学的医学图像边缘检测[J].计算机应用与软件, 2014,31(5):184-187.

ADEFECTDETECTIONMETHODFORCOMPLEXTEXTUREONMOBILEPHONESHELL

Zhang Wei Zeng Bi

(SchoolofComputers,GuangdongUniversityofTechnology,Guangzhou510006,Guangdong,China)

Considering the features of complex texture, tiny defect and defect diversity of the surface of mobile phone shell, we propose a mobile phone shell defect detecting algorithm based on a complex texture. This method firstly magnified the partition area of the mobile phone shell, and suppressed the main texture of it. Then, the main structure of the image was extracted and self-adaption Roberts edge detection method was used to extract the defect contour. Finally we integrated handled and extracted the defect according to a series of median filter, mathematical morphology operation, etc. The experiments show that this method can provides good results for detecting the scratch, stain and other detects on the surface of mobile shell, with a low error rate.

Defect detection Texture suppression Edge detection Median filtering Mathematical morphology

2016-12-27。广东省产学研合作专项项目(2014B090904080)；广东省应用型科技研发专项项目(2015B090922012)。张伟，硕士生，主研领域：智能机器人，机器视觉。曾碧，教授。

TP391

A

10.3969/j.issn.1000-386x.2017.11.040