基于RTV模型的木板缺陷分割算法

张斌洪,柳 宁,,王 高,,李德平

1(暨南大学 信息科学技术学院,广州 510632) 2(暨南大学 机器人智能技术研究院,广州 510632)

1 引 言

数字制造时代,家具进入个性化订制模式,家具的数字制造系统从设计、下料、切割、封边、包装、运输、安装全部数字化,但是,木板上的油墨、掉皮、木结、裂痕等缺陷目前还是人工检测.利用机器视觉技术进行木板缺陷在线检测是家具数字制造领域的一个重要课题.木板图像检测面临的一个问题是木材纹理对缺陷目标的干扰;另一个问题是大幅面的木板光照不均难以依靠工程的办法消除[1-4],光照不均又会引起木板缺陷分割的误判,所以木板缺陷图像分割算法必须区分缺陷与纹理并消除光照不均引起的误判[5].

缺陷的图像分割算法成为木板自动检测的重要环节,纹理图像结构提取方法又是图像分割的关键,目前纹理图像结构提取方法有边缘保存滤波法和优化模型法两种[6-9].

双边滤波器[10]是一种广泛应用的边缘保持滤波器.该滤波器同时考虑了像素空间差异与强度差异,在像素强度变换不大的区域,双边滤波的效果类似于高斯滤波,而在图像边缘等强度梯度较大的地方,可以保持梯度,因此它能保持图像边缘的特性.但噪声的存在会使其亮度加权系数的估计受到严重影响,导致滤波后的图像在某些区域残留噪声.引导滤波通过一幅引导图像对输入图像进行滤波处理,输出图像在保留输入图像整体特征的时候还能充分获得引导图像的边缘特征[11].引导滤波性能优异且计算复杂度较低,但当噪声水平较高时,图像的细节和边缘等重要信息被噪声湮没,无法提供有效的引导信息.

优化模型法中全变分法最为经典[12].Xu 等人在此基础上提出相对全变分(RTV)模型[13].该模型通过相对全变分,在全局优化中进行不同的惩罚约束,实现图像结构的提取和纹理的去除.但是RTV模型对结构和纹理尺度接近的图像不能取得理想效果.另外,RTV模型算法中有大量稀疏矩阵的计算,如输入灰度图像为400*400时,则进行运算的矩阵大小为160000*160000,由于内存的限制,用RTV算法直接处理大幅面图像是不现实的.本文对RTV算法进行改进并引入可疑区域划分的缺陷提取方法.

2 纹理图像主结构提取

2.1 RTV模型

一幅纹理图像I,可以看作是结构部分S和纹理部分T的线性组合[8],如公式(1):

I=S+T

(1)

图像的结构提取是指从原图 I 中提取 S.基于图像的结构能保持其大部分信息特征,TV模型用L2范数使I和S结构相似,TV模型如下:

(2)

(3)

公式(3)中,第一项的数据项使结构部分S与原图像I保持相似,但I中既有结构又有纹理,无法最小化能量函数.为了得到更具引导意义的参照图,即其能尽量保持I的结构部分,而模糊甚至去除尺度较小的纹理部分.本文用盒子滤波器处理图像I,得到小幅度去噪图像 m代替原图像I,改进模型如下:

(4)

其中,ε>0是一个常值,ε通常取值为1e-3,保证公式(4)中的分母不为零,D为窗口全变分,L为窗口固有变分.x方向定义分别如下:

(5)

(6)

(7)

公式(6)中Gσ是标准差为σ的高斯核函数,同理y方向如下:

(8)

(9)

(10)

公式(4)的求解,即将RTV模型的求解算法中,用模糊图替代原图,可以写成矩阵形式:

(11)

vs和Vm代表S和m的两个列矢量,Cx和Cy是向前差分梯度算子的托普利兹矩阵.Ux,Uy,Wx和Wy为对角矩阵,对角线上的值分别为:Ux[i,i]=uxi,Uy[i,i]=uyi,Wx[i,i]=wxi,Wy[i,i]=wyi

使用上述对角线的值,对线性方程(12)迭代,求vs的解:

(12)

2.2 算法实现

用RTV模型提取纹理图像主结构的算法过程如下:

输入:图像I,尺度参数σ,强度参数λ

输出:结构图像S

1. 初始化:t=0,S0←m←I

2. For t=0:2

3. 计算公式(6),(7),(9),(10),得到权重因子w和u

4. 对线性方程(12)求vS的解后转换成二维矩阵S

5. End For

在相同的拍照现场下,木板图像的尺度参数σ,强度参数λ保持不变,参数的选取由实验测试所得.

3 木板的可疑区域划分

生产现场大幅面木板难以得到光照均匀的图像,整幅图像的灰度会呈现明显的不均匀性.在局部图像里,缺陷与背景的灰度之间存在差异,但在更大的图像区域中,目标与背景的灰度呈现相近或者相等的交织状态.同时,考虑上文中RTV算法的内存限制问题,图像分割必须是在局部进行.

实际处理过程中,对背景区域的处理是不必要的,因此,本文只对缺陷可能存在的区域进行RTV算法的处理,即可疑区域划分.划分木板图像I的可疑区域并标记:

(13)

公式(13)用阈值T把当前图像的像素集合点分割成木板的背景区域B和N个缺陷可疑区域Qi,其中Qi是包含可疑像素点的局部区域.为保留更多的可疑区域,防止漏测,自适应Kittle算法得到的阈值需要加一个常数,使阈值提高,结果为T.第一次木材图像可疑区域划分如图1所示.

图1(a)为待检测木材图像,图2(b)为第一次可疑区域划分效果图,图1(b)中矩形框的区域为可疑区域Qi由于背景灰度是不均匀的,这N 个可疑区域Qi中,包含缺陷存在的目标区域、低灰度背景区域、低灰度背景和多个缺陷存在的混合区域,需要进行多次划分.预设划分区域的面积阈值τ,对Qi进行多次划分:

(14)

Qj表示面积小于预设阈值的区域,Qk表示面积大于预设阈值的区域.把Qk看作I,循环(13)和(14)的操作,多次进行可疑区域的划分.

多次测试表明,本文所用实验素材的最大划分次数为4.最后对所有可疑区域进行RTV算法处理.上述方法不仅减少了处理背景区域时所产生的时间和内存空间,由于图像为局部处理,也减少光照不均对图像缺陷分割和提取时造成的干扰.缺陷检测的算法流程如图2所示.

图1 可疑区域划分Fig.1 Suspicious area is divided

4 实验与分析

4.1 视觉效果比较

选择含有油墨、掉皮、木结、裂痕缺陷的木板局域图像进行不同算法的主结构提取.效果对比如图3所示,改进的RTV模型更好地去除图像木纹,并把缺陷部分保留下来.

为了直观显示本算法效果,对所有保边处理后的图进行阈值分割,结果图4所示.上图的对比,表明了改进的RTV模型可以有效地去除木材纹理在缺陷分割时的干扰.由于图4只是木材的小区域,而实际工业应用中,处理目标是大面积木板.在木板面积较大时,难以得到光照均匀的图像,上述处理也无法解决光照不均对图像缺陷分割的影响.因此引入可疑区域划分的方法,效果如图5所示.图5(a)是原图,图5(b)为结果图,图5(c)是传统木材缺陷分割中,常用的中值滤波和最大类间方差法[14]所得到的结果图.从图5可以看出,本文算法更好地减少光照不均对缺陷分割的干扰.

图2 木板缺陷检测流程图Fig.2 Flow chart of wood defect inspection

图3 去纹理木板缺陷Fig.3 A wood image that removes textures

图4 木板缺陷二值图Fig.4 Binary image of wood′s defects

图5 木板缺陷分割算法对比图Fig.5 Comparison of wood defect segmentation algorithms

4.2 误检率

为客观地证明本文算法的缺陷分割效果,引入误检率作为衡量木板缺陷分割算法的量化尺度[15],定义如下式:

(15)

PError表示缺陷分割提取的错误率,错误率越低,算法效果越好.设图像单位区域为25*18,N表示一张木板图单位区域总数,n+表示在无缺陷区域中分割出缺陷的单位区域数量,n-表示在含缺陷区域中未能分割出缺陷的单位区域数量.实验选取了50幅木板缺陷图像,图像大小为2500*1800.缺陷种类包括各油墨,掉皮,木结,裂痕等.从每幅图像中,截取包含缺陷且像素规格分别为2000*1440、1000*720、500*360、250*180的图像,这些规格都是单位区域25*18的倍数,从而得到5组各含50幅的图像.统计不同算法下,每组木材缺陷图像的分割提取平均错误率.如表1所示.

表1 木板缺陷分割提取错误率
Table 1 Error rate of segmentation algorithm′s wood defects

面积(像素)本文算法(%)传统算法(%)2500∗18003．2815．672000∗14403．317．831000∗7203．364．56500∗3603．253．23250∗1803．193．15

当木板的面积较小时,本文算法和传统算法的错误率都比较低.随着木板面域的增大,传统算法在木板的缺陷的分割提取时,受光照的影响与自身木纹的干扰显著增强,所以其错误率随之升高.而本文算法的错误率仍然保持在低水平.

5 结 论

本文分析研究了木板缺陷分割是其缺陷检测的关键,利用对引导图的去噪,改进RTV算法,得到更好的去纹理保缺陷图像.同时结合可疑区域划分,减少大量背景区域的处理,进一步促进RTV算法在木材缺陷检测效率.在对木板缺陷分割提取的过程中,通过图像视觉效果和误检率两方面,对本文算法与传统算法比较,证明本文算法对现场光照和木板自身纹理有很好的抗干扰能力,能准确地分割提取木板缺陷,为之后利用神经网络算法对木板缺陷的识别与分类打下良好的基础.

[1] Gonzalez R,Woods R.Digital image processing using MATLAB(Second Edition)[M].Beijing,Tsinghua University Press,2013:371-413.

[2] Su Chang.Wood defect detection using wavelet and mathematical morphology [J].Computer Engineering and Applications,2008,44(33):246-248.

[3] Fang Chao.Image detection technology for Wood defects[D].Harbin:Harbin Engineering University,2010.

[4] Packianather M S,Drake P R.Neural networks for classifying images of wood venner(Part 2)[J].The International Journal of Advanced Manufacturing Technology,2000,16(6):424-433.

[5] Liang Lin.Survey on enhancement methods for non-uniform illumination image[J].Application Research of Computers,2010,27(5):1625-1628.

[6] Chen Li.Studys on structure extraction methods for texture images [D].Harbin:Harbin Institute of Technology,2015.

[7] Paris S,Hasinoff S W,Kautz J.Local laplacian filters [J].ACM Transactions on Graphics(TOG),2011,30(4):68:1-68:12.

[8] Liu Li,Kuang Gang-yao.Overview of image textural feature extraction methods[J].Journal of Image and Graphics,2009,14(4):622-635.

[9] Arbelaez P,Maire M,Fowlkes C,et al.Contour detection and hierarchical image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(5):898-916.

[10] Buyue Zhang,J.P.Allebach.Adaptive bilateral filter for sharpness enhancement and noise removal[J].IEEE Transactions on Image Processing,2008,17(5):664-678.

[11] He K M,Sun J,Tang X O.Guided image filtering[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6):1397-1409.

[12] Ma Jia-chen,Li Jian-gang,Sun Ming-jian.De-noising method for medical ultrasonic image using ROF model [J].Computer Engineering and Applications,2010,46(20):207-209.

[13] Xu L,Yan Q,Xia Y.Structure extraction from texture via relative total variation[J].ACM Transactions on Graphics(TOG),2012,31(6):139-148.

[14] Dai Tian-hong,Wu Yi.Image segmentation of Wood defect based OTSU algorithm and mathematical morphology[J].Forest Engineering,2014,30(2):4797-4800.

[15] Fu Rong.Fabric defect detection based on window threshold local binary patterns [J].Computer Integrated Manufacturing Systems,2010,16(9):2010-2015.

附中文参考文献：

[1] 冈萨雷斯,伍 兹.数字图像处理的MATLAB实现(第二版)[M].阮秋琦译.北京:清华大学出版社,2013:371-413.

[2] 苏 畅.基于小波与数学形态学的木材缺陷检测[J].计算机工程与应用,2008,44(33):246-248.

[3] 方 超.木材缺陷的图像检测技术[D].哈尔滨:哈尔滨工程大学,2010.

[5] 梁 琳.光照不均图像增强方法综述[J].计算机应用研究,2010,27(5):1625-1628.

[6] 陈 丽.纹理图像的结构提取方法研究[D].哈尔滨:哈尔滨工业大学,2015.

[8] 刘 丽,匡纲要.图像纹理特征提取方法综述[J].中国图象图形学报,2009,14(4):622-635.

[12] 马家辰,李建刚,孙明健.应用ROF模型的医学超声图像去噪方法[J].计算机工程与应用,2010,46(20):207-209.

[14] 戴天虹,吴 以.基于OTSU算法与数学形态学的木材缺陷图像分割[J].森林工程,2014,30(2):4797-4800.

[15] 付 蓉.基于窗阈值局部二值模式的织物疵点检测算法[J].计算机集成制造系统,2010,16(9):2010-2015.