结合NSST显著性检测及图割的泡沫红外图像分割

陈诗媛， 廖一鹏， 张 进， 王卫星

(福州大学 物理与信息工程学院，福建 福州 350108)

1 引 言

浮选是浮选机内矿物与空气中的微气泡发生碰撞粘附，利用矿物与杂质表面的亲疏水性质，可浮性高的矿物颗粒随着气泡上浮至液面泡沫层，从而将目标矿物从物质组成复杂的矿石中分选出来的选矿方法[1]。研究表明，浮选过程中气泡的生成和崩塌可有效反映矿物含量[2]，而图像分割是浮选图像处理分析和检测新生成与崩塌的气泡的关键，广泛应用于计算机视觉及工业生产等领域[3]。目前，浮选气泡的分割主要在可见光图像上进行，这种方法受光照影响很大，容易出现过分割和欠分割，因此可在红外图像上对浮选气泡进行处理，提高抗干扰能力，更加准确地对新生成和崩塌的气泡进行检测。

浮选气泡的稳定性影响了回收率、精矿品位等生产指标性能[4]，准确地对泡沫图像进行分割，能有效识别新生成和崩塌的气泡，为后续气泡的稳定性、崩塌力计算打下基础。但是气泡不断位移且发生形变，泡沫图像存在光照不均、噪声大、气泡粘连等问题，导致气泡识别检测困难。目前，学者们提出了多种不稳定气泡的检测方法。Sameer等人[5]利用分水岭算法对泡沫图像进行分割，提取图像中气泡，然后将第2帧中气泡的质心映射到第1帧的分割图像中，计算连续帧之间气泡的交点数进行崩塌判断。该方法准确度受限于分水岭分割结果，破裂的气泡在气泡的阴影较暗的区域容易被过度分割；Jahedsaravani等人[6]根据连续帧中气泡出现和消失时在泡沫表面产生的反射和阴影之间的差异以及泡沫速度信息来判断崩塌气泡。该方法检测精度受气泡形变和光照的影响，形变气泡的亮点和高亮边缘易被误检。陈良琴等人[7]首先通过阈值分割法和分水岭提取相邻两帧气泡亮点区域和气泡个体区域，然后根据气泡破裂合并的内在特点提取变化特征，最后将支持向量机引入，得到气泡稳定度数据；Nakhaei等人[8]研究了浮选操作条件对泡沫表面外观特征的影响，使用分水岭分割技术计算泡沫气泡的大小，并通过分析连续帧和检测气泡中心的移动和变化率来计算泡沫速度和稳定性。

目前，对浮选泡沫红外图像处理的研究较少，本文对泡沫表面红外热成图像后发现，新生成和崩塌的气泡会产生高温，可通过对红外图像中高温区域目标分割以实现新生成或者崩塌气泡的提取，为后续气泡的稳定性、崩塌力检测提供良好基础。目前红外图像的分割方法较多，邵磊等人[9]先通过经典单阈值分割将泡沫红外图像划分为背景和目标两部分，再选取目标灰度及平均值为图像做二维双阈值分割，能有效提取出目标，但抗噪性较差。图像显著性检测被广泛应用于图像分割、目标识别与追踪等领域。Bi等人[10]提出利用显著性映射将空间信息融合到传统的GMM中进行图像分割，能准确标识目标且很大程度上提高了目标分割的精度。Peng等人[11]综合测地距离、外观重叠信息和边缘信息，提出自适应调整各个约束项的交互式图割方法，节省了实验工作量，优化了分割效果，但是需要手动选取前景和背景，不适用于工业生产领域。廖苗等人[12]基于自适应分段非线性增强构建图割能量函数，实现自动分割，并采用形态学开操作对分割结果进行优化，将其中错误分割区域剔除，提高分割正确率，且综合分割性能优于现有多种算法。泡沫红外图像存在分辨率和对比度低缺陷，噪声干扰严重，气泡边缘的高温区域模糊，图像单尺度下的分割精度不高。近年来,多尺度几何分析的发展为图像分析处理开辟了新的研究方向,非下采样Shearlet变换(NSST)[13]不仅继承了NSCT的变换特性，而且具备运算效率高、分解方向不受限制等特质，已应用于图像分割[14]，并取得较好的分割效果。

本文提出一种结合NSST域图像显著性区域的标识定位及图割的泡沫红外图像分割方法。首先，通过非下采样Shearlet变换(NSST)将泡沫红外图像分解为低频子带和多尺度高频子带；其次，采用GBVS算法对低频子带图像进行显著性检测，得到显著性值和视觉显著图；然后，对各个高频方向子带系数计算阈值和尺度相关系数，去除噪声系数和非线性增强边缘、弱边缘系数；最后，结合NSST域视觉显著性进行图割：NSST重构后结合图像显著值和亮度特征构造包含区域项和边界项的能量函数，再利用最大流/最小割算法求解能量函数的最小值进行目标分割，提取新生成的和崩塌的气泡并计算分割精度。

2 NSST域显著性检测及增强去噪

2.1 泡沫红外图像的NSST分解

非下采样Shearlet变换(NSST)包括多尺度分解和多方向分解两部分，是对NSCT的优化改进。NSCT继承了Contourlet变换的多尺度多方向及良好的空域和频域特性[15]，但是运算效率不高，不适用于对实时性要求高的场合。针对NSCT存在的缺点，Easley等人[16]提出了NSST，与NSCT相比，运行时间短，能够满足实时性要求。NSST具有多尺度多方向、平移不变的变换特性，而且运算效率高。泡沫图像通过k级非下采样金字塔(NSP)多尺度分解后，得到k+1个子带图像，其中包括1个低频图像和k个尺度不同的高频图像。对多尺度分解后子带图像进行l级多方向分解，分解为2l+2个方向子带图像，NSST方向分解采用Shear滤波器保证图像不失真，使图像具有平移不变性，并有效抑制伪吉布斯效应。

根据非下采样Shearlet变换(NSST)特有的优势，可将其运用到气泡检测中，低频子带图像去除噪声，提高气泡亮点对比度，保留气泡轮廓信息，留下显著性的高温区域，有利于定位新生成的和崩塌的气泡；高频子带图像包含气泡的边缘、纹理特征，能有效估算崩塌位置和范围进行分割，以提高算法整体的鲁棒性。原图像经过NSST变换分解后的低频图像和高频图像如图1所示。

图1 气泡图像多尺度变换Fig.1 Multiscale transform of bubble images

2.2 低频子带图像显著性检测

视觉显著性检测[17]是指通过智能算法模拟人的视觉特点，获取图像中局部视觉特征突出的显著区域，即自动选择感兴趣的区域进行处理，忽略不感兴趣的区域。显著性检测在应用于提取显著目标区域时，普遍采用阈值的分割方法缺乏广泛适用性。本文在Graph cuts框架下，融入低频子带图像的显著性检测，有效估计泡沫红外图像的前景与背景，将资源集中处理图像中最能引起用户兴趣、表现图像内容的区域，减少计算量，提高信息处理效率和通用性。

显著性检测中的GBVS算法是对ITTI算法的优化改进，特征提取方法与ITTI一致，且生成的显著图有利于阈值分割。本文采用GBVS算法对低频子带图像进行显著性检测，引入马尔可夫链[18]计算特征差异得到显著性值，并通过归一化显著值和合并多个激活图生成视觉显著图。从NSST分解后的低频子带图像中提取亮度和方向视觉信息分别对应的特征矩阵，获得图像尺寸为n×n的特征图。依次以特征图为输入，计算相应的激活图。对于特征图或者原图，用马尔可夫的方法来定义一个像素(i,j)和其领域的不同，并要求(i,j)对应于激活图中的位置处要有较高的值。我们需要构造一个图，首先以特征图中的一个像素作为图中的一个节点，然后根据像素点间的灰度值相似度和像素点位置间的欧氏距离作为连接权值，将每个像素点两两连接，构成一个有向全连接的图GA，从节点(i,j)和节点(p,q)的连接权重表示从某一节点(i,j)出发访问到另一节点(p,q)的概率，定义为：

W((i,j),(p,q))=d((i,j)||(p,q))·
D(i-p,j-q)，

(1)

式中，G(i,j)和G(p,q)分别代表节点(i,j)和节点(p,q)的特征，两者差异的具体衡量公式为：

(2)

D(i-p,j-q)表示节点(i,j)和节点(p,q)位置间的欧式距离，计算公式为：

(3)

在有向全连接图GA上定义一个马尔可夫链，因为马尔可夫链中转移概率矩阵具有从一个节点到其他所有节点的转移概率之和必须为1的性质，所以对连接权重进行归一化，每一个连接权重都乘以一个系数使得总和为1，形成马尔可夫状态转移矩阵。并将节点作为马尔可夫链的状态，边权重作为马尔可夫链中状态的转移概率。权值越大，转移概率越大，节点视觉特征差异越大的点越显著。根据多次迭代马尔可夫转移矩阵达到的马尔可夫链平稳分布对节点进行计算获得显著值。最后把每个特征的激活图进行归一化并相加，得到视觉显著图。

2.3 高频子带增强及去噪

(4)

(5)

(6)

(7)

(8)

(9)

(10)

3 基于显著性检测结果的图割方法

视觉显著性检测是指通过智能算法模拟人的视觉特点，获取图像中局部视觉特征突出的显著区域，即自动选择感兴趣的区域进行处理，忽略不感兴趣的区域。显著性检测在应用于提取显著目标区域时，普遍采用阈值的分割方法缺乏广泛适用性。本文在Graph cuts框架下，融入低频子带图像的显著性检测，有效估计泡沫红外图像的前景与背景，将资源集中处理图像中最能引起用户兴趣、表现图像内容的区域，减少计算量，提高信息处理效率和通用性。

融合各个尺度下的细节，对多尺度高频子带做增强和去噪处理后进行NSST重构，并对该重构图像进行图割。提取出图像的区域特征与边界特征并将二者融合，在此基础上建立的模型即为图割算法模型，具有全局最优性，且在一定程度上解决了过分割或分割不足的问题。构造一个包含区域项和边界项的能量函数，把图像映射成一个带权图G=(V,E)，V和E分别是顶点和边的集合，图割的能量函数构建为：

(11)

为了突出泡沫红外图像中高温区域表示的新生成和崩塌的气泡，本文采用基于高斯拟合的气泡亮度模型，气泡亮度模型构建公式为：

(12)

式中：I为图像亮度，气泡亮度范围为[IL,IH]，参数k用于气泡亮度模型中新生成和崩塌的气泡与背景的对比度调节，k取1.5。亮度模型fI要进行各向异性滤波并归一化到[0,1]之间。

对泡沫红外图像中的显著性区域进行高斯拟合，运用高斯函数拟合其亮度分布，来获取气泡亮度范围[IL,IH]，公式表示为：

(13)

Ip表示像素点p的亮度值，FI(fp)为亮度约束项，定义如下：

(14)

仅依赖亮度特征的区域项会出现不是目标的区域也被提取分割的现象。为弥补亮度特征判断不足所产生的干扰结果，本文加入显著性约束项，区域显著值较大的被判定为目标；反之，判定为背景。

(15)

(16)

(17)

(18)

(19)

图割能量函数中的边界项用B(fp,fq)表示，公式为：

(20)

(21)

式中：Ip、Iq分别表示像素点p和像素点q的亮度值，d(p,q)为像素p和q之间的欧氏距离，SP为像素集P的像素总数。如果邻域像素p和q越相似，那么B(fp,fq)越大；如果两者存在很大差异，那么B(fp,fq)逼近于0，即能量越小，它们处于目标和背景的边缘部分的可能性很大，则有较大可能被分割。

(5)单位面积吸能S(Unit area energy absorption)，定义为结构压溃前的总吸能E与承载面积A之比，见式(4)：

4 算法流程与步骤

综上分析，本文泡沫红外图像的NSST域分割算法流程图如图2所示，具体实现步骤如下：

Step1：摄像机实时采集浮选槽表面的泡沫红外图像，并将图像传输给后台处理主机。

Step2：对泡沫红外图像进行NSST多尺度分解，得到1个低频图像和k个尺度不同的高频子带，各尺度高频子带再分解为l个方向子带。

Step3：采用GBVS算法对低频子带图像进行显著性检测，引入马尔科夫链计算特征差异得到显著性值，并通过归一化显著值和合并多个激活图生成视觉显著图。

图2 泡沫红外图像分割流程图Fig.2 Flow chart of foam infrared image segmentation

Step5：结合NSST域视觉显著性进行图割，首先，融合各个尺度下的细节，并对增强和去噪处理后的多尺度高频子带、低频子带图像进行NSST重构，得到增强及去噪后的泡沫红外图像；然后，结合图像显著值和亮度特征构造一个包含区域项和边界项的能量函数；最后，利用最大流/最小割算法求解能量函数的最小值，得到分割结果。

5 实验结果与分析

为验证本文所提出的泡沫红外图像分割算法的有效性，以福建金东矿业股份有限公司的铅矿浮选厂泡沫红外图像作为实验测试对象，实验的硬件平台为Intel(R) Core(TM) i5-4260U CPU@1.40 GHz 2.00 GHz、4.00 GB RAM,运行环境为Windows 7+MATLAB 2017a。通过大量实验对所提方法进行验证，给出了各实验步骤的结果及分析，并与现有方法进行了结果比较分析。

在完成图像分割任务之后，需要对分割结果进行性能评估。一般采用的指标是IOU和假阳性率，公式为：

(22)

(23)

式中: TP为标准割和算法分割结果相交部分，FN为标准割减去TP部分，FP为算法分割结果减去TP部分，分割结果与标准割比较示意图如图3所示。

图3 分割结果与标准割比较示意图Fig.3 Comparison of segmentation results map with standard segmentation map

实验1为泡沫红外图像分割实验结果及对比。对浮选泡沫红外图像(见图4(a))进行NSST分解，得到低频子带图像(见图4(b))和多尺度高频子带，其中高频尺度1如图4(c)所示、高频尺度2如图4(d)所示。对低频子带图像进行GBVS显著性检测，GBVS图如图4(e)所示，显著部分如图4(f)所示，图中点表示显著部分的质心。融合各个尺度下的细节，并对增强和去噪处理后的多尺度高频子带、低频子带图像进行NSST重构，得到增强及去噪后的泡沫红外图像如图4(g)所示。最后对图像进行图割操作，分割结果如图4(h)所示。

若采用直接对泡沫红外图像进行GBVS显著性检测，不在NSST低频子带图像下进行显著性检测，GBVS图如图4(i)所示，而后进行图割得到结果如图4(j)所示，容易分割出非目标区域，分割精度较低。若没有对多尺度高频子带先进行增强去噪处理再图割，分割结果如图4(k)所示，目标区域边缘杂乱，精确度不高。泡沫红外图像标准割如图4(l)所示。

图4 本文分割算法的实验结果及对比Fig.4 Experimental results and comparison of the segmentation algorithm in this paper

将本文分割算法与传统分割算法相比较，区域生长算法分割结果如图4(m)所示，分割存在区域空洞和边缘模糊问题。分水岭算法分割结果如图4(n)所示，分割精度有所提高，但缺乏边缘平滑。阈值分割算法分割结果如图4(o)所示，分割速度较快但精度不高。K聚类算法分割结果如图4(p)所示，分割后的图像轮廓清晰，但是完整度较低。

实验2 为验证本文算法在红外图像下具有较好的抗噪声性能，对浮选泡沫红外图像叠加了均值为0，方差为10%的高斯白噪声，结果如图5(f)所示，并与现有文献方法和原始泡沫红外图像各文献分割算法进行结果比较分析。各方法分割结果如图5所示。用IOU和假阳性率对分割结果进行性能评估，验证本文分割算法的精确度和有效性，各算法的实验数据统计如表1所示。

图5 加噪泡沫红外图像分割算法的对比Fig.5 Comparison of noise foam infrared image segmentation algorithms

表1 加噪泡沫红外图像分割结果比较Tab.1 Comparison of noised foam infrared image segmentation results

实验3 为验证本文算法在不同工况下，不同大小、个数和类型的气泡图像具有普遍性。对采集的100张256×256浮选泡沫热成像图，分别运用文献[9]、文献[10]、文献[12]及文中算法进行分割，为了定量比较分割效果，选取有代表性的欠浮选、正常浮选、过浮选图像进行试验，试验结果如图6所示，计算分割后图像的IOU、假阳性率，及算法的平均运行时间，各算法的性能统计结果如表2所示。

图6 3种浮选红外图像分割算法的对比Fig.6 Comparison of three flotation infrared image segmentation algorithms

表2 3种浮选红外图像分割结果比较Tab.2 Comparison of segmentation results of three flotation infrared images

实验数据表明：区域生长分割算法、阈值分割算法、文献[9]和文献[12]易受光照和运动形变影响，造成分割区域有空洞、分割出非目标区域，精确度较低。分水岭分割算法存在边界模糊问题且受限于分割参数的选取，存在一定的误差。K聚类算法分割一定程度上解决了过分割和欠分割现象，分割后的图像目标轮廓清晰，但精度仍较低。文献[10]能准确识别目标，分割精度较其他方法有一定提高。本文方法受影响小，分割精度较高，且在噪声较大的红外图像下，阈值分割算法、K聚类算法、文献[9]和文献[12]的分割精度急剧下降，而本文方法仍保持较高精度，有较好的抗噪性。各算法的平均运行时间统计如表2所示，本文分割方法的运行时间较长，是现有文献方法的2～3倍，但本文方法能准确识别目标，精确分割出新生成或崩塌的气泡，与实际气泡的边界较吻合，抗噪性好，分割精度高。

实验4 为了进一步检测新合成或崩塌气泡提取方法的性能，选取正常浮选气泡图像、欠浮选气泡图像、过浮选气泡图像各50幅作为实验对象进行定量对比。采用差异法对提取结果进行性能评估，采用的指标为气泡检测效率RD及准确率TC，公式为：

(24)

(25)

式中:Pn为专家人工标记的气泡数量，Py为各方法提取到的气泡数量，Pt为各方法检测正确的气泡数量，新合成或崩塌气泡提取结果性能分析如表3所示。

将本文方法与改进分水岭分割、文献[9]、文献[10]和文献[12]等分割方法的运行时间进行比较，运行时间表见表2。

根据表3结果分析，对于正常浮选气泡图像，4种方法都呈现出较高的检测效率和准确率，且相差不大。对于欠浮选气泡图像，文献[6]检测精度受气泡形变和光照的影响，气泡的亮点和高亮边缘易被误检，文献[7]和文献[8]对小气泡会造成误检误分割，导致检测效率和准确率下降，而本文方法一定程度上提高了分割提取精度，抑制了检测效率和准确率下降。对于过浮选气泡图像，文献[6]存在过分割，文献[7]和文献[8]方法受气泡形变影响而造成误识别，检测效率和准确率不高，而本文方法受影响小，提取精度高。综上分析，本文方法用于检测新生成和崩塌的气泡，表现出较高的检测效率和准确率，在不同浮选工况下均表现出良好的鲁棒性，满足浮选生产在线检测和动态变化需求。

表3 新合成或崩塌气泡提取结果性能分析Tab.3 Performance analysis of extraction results of newly synthesized or collapsed bubbles

6 结 论

针对浮选泡沫红外图像目标边界模糊、噪声影响导致图像分割困难的问题，提出一种结合非下采样Shearlet变换(NSST)域显著性检测及图割的泡沫红外图像分割方法。采用泡沫红外图像进行崩塌和新合成气泡的分割，受光照影响很小，抗干扰能力强；在NSST域下进行多尺度多方向的高频子带增强及去噪，减少了噪声影响，保留更多的气泡轮廓信息、边缘及纹理特征，有利于提高边缘区域的分割精度；在Graph cuts框架下，融入高斯拟合的气泡亮度模型和低频子带图像的显著性检测，有利于准确估计泡沫红外图像的目标区域与背景，减少了过分割和欠分割现象，提高了分割精度。实验结果表明，本文算法较现有文献方法相比，受光照影响小,能有效对目标区域进行分割，一定程度上解决了过分割和欠分割问题。正常浮选检测准确率为91.8%，欠浮选为87.1%，过浮选为88.9%。分割精度有明显提高，能更加准确地对新生成和崩塌的气泡进行检测，且表现出良好的抗噪性，在不同工况下均表现出良好的鲁棒性，适用于浮选生产检测。