焦炭光学组织的超反射率图像分析系统①

夏 杰, 谢 威, 陈雁秋

(复旦大学 计算机科学技术学院, 上海 201203) (复旦大学 上海市智能信息处理重点实验室, 上海 201203)

焦炭光学组织的超反射率图像分析系统①

夏 杰, 谢 威, 陈雁秋

(复旦大学 计算机科学技术学院, 上海 201203) (复旦大学 上海市智能信息处理重点实验室, 上海 201203)

分析焦炭的光学组织是一种重要的评估焦炭质量的方式, 目前这种评估方式还停留在人工阶段. 为了改变现状, 本文设计和实现了一套自动分析系统, 可以自动采集焦炭切片的显微图像并自动分割和识别其中的焦炭光学组织. 系统由图像采集系统和图像分析系统两个子系统构成. 在图像采集系统中, 我们使用多角度极化技术拍摄得到焦炭切片在不同极化角度下的反射率图像, 本文称这种特殊图像为超反射率图像. 在图像分析系统中, 我们提出了一种针对焦炭的超反射率图像的新型分析算法, 可以准确高效地分割和识别图像中的各种焦炭光学组织.

焦炭光学组织; 显微图像; 多角度极化; 图像分割; 形态剖面; 随机森林

冶金焦炭是钢铁行业的重要原材料, 焦炭的质量在钢铁冶炼过程中尤其是对于高炉顺行有着关键性的影响. 分析焦炭样本切片的光学组织是一种高效和方便的评估焦炭质量的方法. 目前在工业界, 这种通过光学手段来分析焦炭光学组织的方法仍然停留在人工数点阶段. 人工评估方式需要耗费大量的人力和时间,并且不同操作员之间的经验差异也会给分析结果带来很大的不确定性. 因此, 实现一套高效、精确的焦炭光学组织自动分析系统有着非常重大的现实意义.

多年来, 国内外已经有不少运用数字图像处理技术对焦炭光学组织进行分析的方法被提出. Eilertsen等[1]使用粗糙度指数和纤维度参量来表征纹理特征,可以区分不同性质的焦炭. 王培珍等[2]提出了一种结合均值偏移和边缘置信度的焦炭显微图像分割方法,但无法识别分割出来的组织类别. 文献[3]提出了一种基于行程长度纹理特征和支持向量机的焦炭显微图像分类方法, 但不能对一幅图像中的各种光学组织实现分割. 以上焦炭光学组织的图像分析方法使用的都是普通的灰度或彩色图像. 然而, 通常不同的焦炭光学组织在由常规手段拍摄到的图像中极其相似, 即使有经验的研究人员通过肉眼也很难分辨. 因此, 上述算法在焦炭光学组织的分割和识别方面有着很大的局限性.

因此, 要进一步分析焦炭样本中各种焦炭光学组织的分布, 必须依赖于新的成像技术的帮助. 一些研究[4,5]指出多角度极化技术是解决这个问题的关键技术之一. 多角度极化技术通过在显微镜的入射光路上放置一个起偏器, 使入射光变为极化光, 然后对同一场景不断改变起偏器的角度来采集目标物的显微图像.对于同一个拍摄区域, 在不同极化角度下采集到的焦炭图像是有较大差异的(见图1). 因为在不同角度的极化光下, 焦炭光学组织的反射率是不一样的. 而且,不同焦炭光学组织的反射率随着极化角度改变的变化情况也是不一样的. 这一性质给不同光学组织的分类和识别带来了更多重要的信息, 为提高分析精度提供了更好的条件. 在此基础上, Crelling等[6]设计了一种图像采集系统可以方便地获得焦炭切片在不同极化角度下的反射率图像(图像中每个像素为反射率值).

图1 从左至右依次为同一焦炭切片局部在36度、90度、144度极化角度下采集到的显微图像

这种新的成像技术也给算法设计带来了挑战. 对于这种多角度极化技术成像的焦炭显微图像, 目前相关的处理和分析的研究还不是很多. 文献[7]中使用一种自适应多目标图像分割方法来分割焦炭反射率图像,但是这个算法无法识别分割出来的焦炭光学组织. Pearson等[8]提出了一个可以分割并识别不同焦炭光学组织的算法. 但是他们仅仅利用了最大反射率和双反射率(最大反射率与最小反射率的差)来对每个像素点分类. 多角度极化产生的丰富信息没有被充分利用,因此算法效果并不是特别理想. 文献[9]提出一种使用Gabor滤波器提取反射率图像的纹理信息来分割识别不同光学组织的算法, 在识别的精度方面有了一定提高. 总的来说, 目前对于多角度极化技术成像的焦炭显微图像的分析, 相关算法都还不够成熟, 并且都没有把不同极化角度下的反射率图像作为一个整体来看待, 各方面性能还有很大的提升空间.

1 系统概述

基于目前的研究现状, 本文利用多角度极化技术设计并实现了一个焦炭光学组织自动分析系统. 系统分为两个部分, 图像采集系统和图像分析系统. 整个系统的流程框架如图2所示.

图2 焦炭光学组织自动分析系统流程

图像采集系统负责拍摄焦炭切片得到显微图像.基于文献[6]我们搭建了一套使用多角度极化技术的焦炭显微图像采集系统. 对于焦炭切片的某一个采样点,系统自动旋转起偏器的角度, 拍摄到一组在不同极化角度下的焦炭切片的反射率图像. 本文把这样一组图像定义为焦炭的超反射率图像. 图像分析系统负责对采集的超反射率图像进行分析, 分割和识别图像中不同的焦炭光学组织, 生成统计数据作为研究人员评估焦炭质量的参考和依据. 在图像分析系统中, 本文提出了针对于焦炭超反射率图像的一种准确高效的焦炭光学组织分析算法.

2 焦炭超反射率图像采集系统

2.1 系统硬件结构

我们的图像采集系统基于ZEISS Imager M1m光学显微镜搭建, 装置外观如图3所示. 与其他显微图像采集系统的主要不同之处在于, 我们在显微镜的入射光路上, 安装了一个自动化起偏器. 该自动化起偏器由手动起偏器集成步进电机和编码器改造而来, 可通过编程控制旋转至任意角度. 显微镜的载物台有三个方向的自由度, 通过左右前后的平移, 可以实现对焦炭切片上不同采样点的拍摄, 通过上下平移, 可以在拍摄焦炭切片时实现自动对焦. 我们使用一台AxioCam HRc彩色数码照相机采集显微图像, 该相机拍摄到的图像分辨率为1388*1040, 单个通道的每个像素大小为12bit. 实际拍摄过程中我们把彩色图像转换为灰度图像来处理.

图3 图像采集系统装置外观, 蓝线为显微镜光路

2.2 图像采集

首先我们需要标定相机. 这里的相机标定是指确定所拍摄的焦炭光学组织的反射率与在其图像中的灰度值的相互关系. 标定工作完成后, 就可以进行图像采集. 在焦炭切片的某一个采样点上, 不同极化角度下相机直接拍摄到的灰度图像被转换为反射率图像,即每个像素点的灰度值要根据标定的结果转换为对应反射率.

2.2.1 相机标定

焦炭组织的反射率与对应的图像灰度值存在线性映射关系. 令反射率为R, 灰度值为G, 则反射率与灰度值之间的转换关系可表示为:

相机标定的目标实际上就是要确定式(1)中α和β的值. 我们使用5张标准片(反射率分别为0%, 0.59%, 0.9%, 1.72%, 7.45%)来标定相机, 拍摄5张标准片可以得到5组R与G的数据. 然后通过这5组已知数据, 我们可以使用线性回归(最小二乘法求解)得到式(1)中α和β的值. 这样我们就确定了反射率与灰度值之间的转换关系. 同时, 不同极化角度下反射率与灰度值之间的转换关系是不一样的, 因此在各个选定的极化角度下我们都需要计算相应的的α和β.

2.2.2 超反射率图像

为了全面准确地获取焦炭样本的信息, 在一块焦炭切片上, 我们均匀设置多个采样点. 在每个采样点上, 图像采集系统控制自动化起偏器从0度到180度间隔一定角度旋转k次, 分别在每个极化角度下拍摄一次图像, 然后随即将图像中灰度转换为反射率保存.

这样在一个采样点上采集到的反射率数据可以形成一个数据立方体, 如图4所示. 其中x和y表示二维平面像素信息坐标轴,z轴表示极化角度信息. 该数据立方体由沿着z轴的以一定极化角度间隔的一系列二维图像组成.z轴一共有k层, 每一层对应于一定极化角度下的反射率图.

本文把这样的数据立方体看作一种特殊的高维图像, 称为超反射率图像. 焦炭超反射率图像的每个像素是一个k维的向量, 向量的每一维数据分别代表这个像素对应的焦炭组织在特定极化角度下的反射率.本文系统在实际的采集流程中, 综合考虑图像采集时间和数据信息丰富度两方面, 经过多次实验验证选择了k= 10作为起偏器旋转次数的最优值.

图4 焦炭超反射率图像

3 焦炭超反射率图像分析系统

3.1 图像分析系统概述

在图像采集系统将一个焦炭切片上的所有采样点的图像数据采集完毕后, 这一批图像数据被输入图像分析系统. 图像分析系统会对读入的所有焦炭超反射率图像进行分析, 通过有效算法对每一张图像分割并识别其中的焦炭光学组织, 最后生成相关统计数据.如何准确高效地分割和识别图像中的焦炭光学组织是整个系统的难点和关键. 对于这种焦炭的超反射率图像的分析, 目前还没有比较成熟的算法. 因此, 本文设计了一种新型的分析算法来解决这个问题.

3.2 焦炭光学组织分析核心算法

我们提出的算法的基本思想是: 通过对焦炭超反射图像中每个像素点分类来达到对不同焦炭光学组织分割和识别的效果. 首先在专家标注过的图片中对标注的各个像素点提取有效特征, 用来训练随机森林分类器[10]. 然后对一张新的焦炭超反射率图像, 利用分类器对图中所有像素点分类, 为每个像素点分配一个焦炭光学组织类别.

3.2.1 预处理

焦炭的超反射率图像是一种高维图像, 直接处理这种图像是比较困难的. 同时, 超反射率图像在带来更多有效信息的同时, 也存在大量的冗余信息, 直接处理是耗时低效的. 因此, 我们有必要先对超反射率图像进行降维处理.

在焦炭显微图像研究领域, 最大反射率与双反射率已经被证明对于区分不同的焦炭光学组织是很有效的[5,8], 实际上这两者也是目前研究人员人工做判断的主要依据. 因此, 提取超反射图像的最大反射率图和双反射率图就是一种简单有效的降维手段. 但是最大反射率图和双反射率图在突出了超反射率图像中的一些重要特征时, 也丢失了图像中的很多细节.

使用主成分分析算法(Principal Component Analysis, PCA)[13]提取超反射率图像的主成分图, 可以尽可能多的保留图像中的重要信息, 减少信息损失.基于这些考虑, 以及经过多次实验验证, 我们采用超反射率图像的主成分图、最大反射率图和双反射率图的组合(见图5)作为下一步进行特征提取的图像集合.

图5 从左至右依次为典型的主成分图、最大反射率图和双反射率图

3.2.2 特征提取

对焦炭的超反射率图像预处理之后, 我们要对降维得到的图像集合进行特征提取. 按前述, 用来特征提取的图像集合为:

其中Ip、Im、Ib分别代表主成分图、最大反射率图和双反射率图.

经过大量观察发现, 焦炭显微图像是由很多块形态各异和大小不一的区域构成, 这些区域内的灰度值相对均匀和稳定, 如图6红框内区域所示. 因此, 我们采用形态剖面算法来提取特征. 形态剖面(Morphological Profle, MP)[11]是一种建立在测地形态学[12]基础上的图像处理算法, 善于分离和突出图像中具有不同大小和不同亮度的图像结构. 形态剖面的基本操作是测地开和测地闭操作, 相比于传统的开闭操作, 测地开和测地闭操作具有更好的形态保持能力,不会破坏焦炭光学组织的原有结构. 这些特点使得形态剖面很适于处理焦炭显微图像. 同时形态剖面基于数学形态学, 易于并行处理和硬件实现, 在运行速度上有很大优势.

图6 典型焦炭反射率图的形态剖面示例(λ= 2、4、6)

一个形态剖面由一个开剖面(opening profile)和一个闭剖面(closing profile)组成. 令γ(I,λ)表示对图像I使用结构元大小为λ的测地开操作后的结果, Θ(I,n)为图像I的开剖面, 定义如下:

类似地, 令φ(I,λ)表示对图像I使用结构元大小为λ的测地闭操作后的结果, Ψ(I,n)为图像I的闭剖面,定义如下:

显然, Θ(I,0)=Ψ(I,0)=I, 即λ=0时, 开剖面和闭剖面等于原图. 因此图像I的形态剖面MP(I,n)可定义如下:

一张图像的形态剖面实际上是一个图像序列, 总共2n+1张图像. 本文实际采用圆盘状结构元, 则λ可定义为圆盘半径. 图6是采用圆盘状结构元对一张典型的焦炭反射率图像计算出的形态剖面示例.

对于图像I中的一个像素x, 在形态剖面MP(I,n)中,x对应于一个2n+1维的向量:

对于焦炭超反射率图像, 我们分别对图像集合(2)中的图像计算形态剖面. 最终我们对焦炭超反射率图像在像素x处提取的特征向量可表示为:

在预处理过程中, 我们尽可能保留和强化了焦炭超反射率图像的极化信息. 通过形态剖面算法, 我们进一步挖掘了图像的空间信息. 因此, 针对焦炭超反射率图像的特点, 我们在特征提取过程中充分利用了其中的有效信息. 图7形象地展示了特征提取的主要过程.

图7 对焦炭超反射率图像提取特征的示意图

3.2.3 分类器

大量被标记过的像素点经过特征提取后, 生成的特征向量(7)将作为随机森林分类器的训练数据. 训练完成后, 对于一张要分析的焦炭超反射率图像, 将其所有像素点提取特征后输入随机森林分类器. 最终根据分类结果, 每一个像素点都会被归类到某一种焦炭光学组织类别.

随机森林(Random Forests, RF)[10]是一种由多个决策树组合成的分类器. 随机森林不需要通过特征选择就能够处理高纬度的数据, 并且能以很快的速度学习大数据量的训练集. 随机森林的这些优点使得它在本文讨论的这个问题上很有优势: 一方面, 特征向量(7)的维度是比较高的; 另一方面, 训练集中有大量标记过的像素点被用来训练分类器.

4 实验与讨论

我们通过实验以及与现有其他算法的比较, 从两个方面来评估本文提出的焦炭光学组织分析算法的性能: 准确性和速度.

4.1 实验参数选择

算法的目标是分割和识别不同的焦炭光学组织.关于焦炭光学组织的具体分类规则, 我们采用的是国家冶金工业部颁布的《焦炭光学组织的测定方法》中规定的标准[14]. 我们把焦炭的光学组织分为各向同性、镶嵌状以及片状. 另外, 在焦炭样本切片的制作过程中, 需要用一种半透明胶质物填充焦炭颗粒的间隙,因此在焦炭切片的显微图像中有很大一部分属于背景区域. 背景区域往往也较易与其他区域混淆, 这也是我们要分割和识别的对象之一.

在实验中, 形态剖面的具体参数设置为:n=12,λ=｛3*i|i=0,1,L,n｝ . 因此, 实验中对焦炭超反射率图像中每个像素提取的特征向量(7)是一个75维的向量.

4.2 数据集构造与评价指标

从大量的拍摄数据中, 我们选取了50张焦炭超反射率图像, 并在专家指导下对图像中典型的焦炭光学组织区域进行了标注, 形成真值. 我们取40张作为随机森林的训练集, 10张作为测试集. 我们在测试集上将实验结果与文献[7]、文献[8]以及文献[9]中提出的算法进行比较.

我们使用准确率(Precision)、召回率(Recall)以及综合考虑二者的F-Measure来定量评价算法的准确性.它们的定义如下:

这里需要说明的是, 对于特定的一个光学组织类别来说,TP指所有被正确分到这一类的像素点个数,FP指所有被错误分到这一类的像素点个数, 而FN指应该属于这一类却被分到其他类的像素点个数.

4.3 实验结果与分析

使用随机森林分类器训练并分类后, 对一张典型焦炭超反射率图像的分割效果如图8所示. 图中绿色代表各向同性组织, 蓝色代表镶嵌状组织, 黄色代表片状组织, 灰色代表背景区域. 由于文献[7]的算法只能分割不能识别, 分割出的每块区域没有标签, 因此我们将其分割结果与测试集的真值比较后, 人工为其每类分割区域匹配了最优的光学组织类别, 以便于与其他算法之间的定性与定量比较. 图8(c)是根据匹配后的结果着色的.

从图8明显可以看出, 图8(c)的分割效果与图8(b)差距比较大, 相比之下图8(d)(e)(f)都显然更加接近专家标注的结果. 仔细比较图8(d)(e)(f), 每张图中的红色方框标出了一些3种算法分割效果差别比较明显的区域. 可以发现, 图8(d)(e)中红框内的区域与图8(b)相比都存在一些或大或小的差异, 而本文算法的分割效果与专家标注基本吻合. 这些差异说明文献[8,9]中的算法在这些光学组织的识别上不同程度地出现了一些错误. 这些错误积累起来会严重影响焦炭光学组织的分析结果, 给研究人员评价焦炭质量带来较大干扰.

图8 本文提出的算法与文献[7,8,9]中算法的分割效果对比

具体的定量评价统计数据如表1所示, 表中的数据也基本验证了我们从图8作出的判断. 从表1的数据可以看出, 文献[8,9]以及本文的算法基本在各个指标上都明显地高于文献[7]的算法. 以文献[7]的算法为基准, 这说明文献[8,9]以及本文的算法在对焦炭光学组织的分割和识别方面都取得了一定的突破. 进一步比较这三者, 本文提出的算法在准确率和召回率两个指标上都显著优于文献[8]中的算法. 与文献[9]中的算法相比, 本文提出的算法在各向同性组织和片状组织的召回率显著提升的同时, 各个类别的准确率也有不同程度的提升. 特别是在各向同性组织上, 文献[9]算法的表现与本文算法有明显差距. 总体而言, 本文提出的算法在焦炭光学组织分析的准确性方面的表现要优于文献[7,8,9]中的算法.

表1 实验结果准确率和召回率比较

在算法的运行速度上, 我们提出的算法也表现出了很高的效率. 在Windows 7操作系统, Intel双核3.2G主频处理器, 4G内存的软硬件环境下, 算法的运行时间如表2所示. 其中文献[7]的算法缺少识别的步骤与功能, 因此可比性不大.

表2 算法运行时间比较

5 结语

本文设计与实现了一种基于多角度极化技术的焦炭光学组织自动分析系统,并提出了焦炭超反射率图像的概念. 系统可以自动采集焦炭样本切片的超反射率图像, 并对采集的图像自动分析其中的焦炭光学组织. 为了分割和识别超反射率图像中的各种焦炭光学组织, 本文提出了一种准确高效的分析算法, 在实验中各方面表现优于现有其他算法. 本系统的设计与实现, 给相关研究人员快速可靠地评价焦炭质量以及指导炼焦配煤带来了极大的便利.

1 Eilertsen JL, Hole M, Foosnæs T, Qye HA. Image analysis for classification of coke for anode production. 21st Biennal Conference on Carbon. Buffalu, NY, 1993: 675–676.

2 王培珍,毛雪芹,毛雪菲,高尚义,张代林.基于均值偏移和边缘置信度的焦炭显微图像分割.中国图象图形学报,2010, 15(10):1478–1484.

3 王培珍,缪家龙,周可,张代林.基于行程长度纹理特征的焦炭显微图像分类算法.煤炭学报,2012, 37(6):1051–1055.

4 Eilertsen JL, Rrvik S, Foosns T, Øye HA. An automatic image analysis of coke texture. Carbon, 1996, 34(3): 375–385.

5 Pusz S, Buszko R. Reflectance parameters of cokes in relation to their reactivity index (CRI) and the strength after reaction (CSR), from coals of the Upper Silesian Coal Basin, Poland. International Journal of Coal Geology, 2012, 90(1): 43–49.

6 Crelling JC, Glasspool IJ, Gibbins JR, Seitz M. Bireflectance imaging of coal and carbon specimens. International Journal of Coal Geology, 2005, 64(3–4): 204–216.

7 Li ML, Qi LH, Li HJ. An imaging technique using rotational polarization microscopy for the microstructure analysis of carbon/carbon composites. Microscopy Research and Technique, 2012, 75(1): 65–73.

8 Pearson DE, Pearson RA, Jiao Y, Kyoung H. Quantitative reflectance measurements of metallurgical coke. 10th Australian Coal Science Conference. Brisbane, Queensland, 2013.

9 谢威,夏杰,钱晖,陈雁秋.冶金焦炭图像的拍摄与自动分析技术.微型电脑应用,2015,(10):14–17.

10 Breiman L. Random forests. Machine learning,2001,45(1):5–32.

11 Pesaresi M, Benediktsson JA. A new approach for the morphological segmentation of high-resolution satellite imagery. IEEE Trans. on Geoscience and Remote Sensing, 2001, 39(2): 309–320.

12 Soille P. Morphological image analysis: principles and applications. Springer Science & Business Media, 2013: 183–218.

13 Wold S, Esbensen K, Geladi P. Principal component analysis. Chemometrics and Intelligent Laboratory Systems, 1987, 2(1): 37–52.

14 中华人民共和国冶金工业部.焦炭光学组织的测定方法.北京:中国标准出版社,1996.

Hyper-Reflectance Image Analysis System of Coke Optical Texture

XIA Jie, XIE Wei, CHEN Yan-Qiu
(School of Computer Science, Fudan University, Shanghai 201203, China) (Shanghai Key Laboratory of Intelligent Information Processing, Fudan University, Shanghai 201203, China)

Analyzing optical texture of metallurgical cokes is an important way to measure the quality of coke. Currently, these measurements have been still in the manual stage. In this paper, we present a system to improve the status quo, which can automatically capture the microscopic images of coke sections and then segment and recognize different coke optical textures in the images. The system consists of two subsystems, which are image acquisition system and image analysis system. We take advantage of multi-directional polarizing technique to capture the reflectance images of coke sections at different polarizing angles, and this special type of image is termed as hyper-reflectance image in this paper. In the image analysis system, we propose a novel analysis algorithm to analyze the hyper-reflectance image of coke, which shows excellent performance in the segmenting and recognizing of coke optical texture.

coke optical texture; microscopic image; multi-directional polarization; image segmentation; morphological profle; random forests

国家自然科学基金(61175036)

2016-04-04;收到修改稿时间:2016-05-03

10.15888/j.cnki.csa.005489