基于格式塔认知框架的乳腺肿块分割算法

王红玉，冯 筠，刘飞鸿，陈宝莹

(1.西北大学 信息科学与技术学院, 陕西 西安 710127；2.第四军医大学 附属唐都医院 放射科, 陕西 西安 710038)

乳腺癌是女性最常见的恶性肿瘤之一,严重威胁着女性的生命健康[1]。研究表明,乳腺X线图像中的肿块是乳腺癌早期诊断的一个重要标志,肿块分割作为肿块检测和诊断的关键环节,成为计算机辅助诊断系统的研究热点[2-3]。

近年来,研究者们针对乳腺肿块分割已做了大量的研究工作[4-5]。主要算法可以分为:基于阈值的分割[6]、基于区域的分割[7]、基于边缘的分割[8]和基于特定理论的分割[9]等。然而由于乳腺图像中噪声和伪影较多,肿块形状、大小、背景复杂多变,现有的方法分割效果往往不够理想[10]。

观察发现,放射科医生在面对复杂的医学影像时能迅速地对信息进行有效组织[11],而计算机却很难判断，因此，模拟人类的知觉组织机理处理计算机视觉中的问题显得尤为重要[12]。格式塔心理学家针对人类视觉感知特点,提出了格式塔完形规则[13-14]。目前已有一些学者将心理学的格式塔方法应用到自然图像分割中,取得了显著的成果[15]。然而医学影像不同于自然场景图像,尤其乳腺肿块形态多变,很难用单一模型表示,因此在计算机辅助分割过程中,模拟专家的认知过程并借鉴专家的经验知识非常重要。

本文针对乳腺X线图像,提出了一种基于格式塔认知框架的自动化乳腺肿块分割方法。该算法从格式塔心理学模型出发,模拟人类视觉自下而上的感知过程与自上而下的认知过程[16]。首先对图像进行预分割,获取视觉块并以此作为基本处理单元,其对应格式塔中“完形”的概念,然后,对图像的局部特性与全局特性分别建模,提出了基于视觉块的肿块分割任务的形式化表达,算法同时考虑了肿块的形态学特点与专家的先验知识。实验结果表明,本文算法简单高效,相对其他流行分割算法取得了更好分割效果,对噪声具有较强的抗干扰性。

1 基于格式塔认知框架的肿块分割

1.1 肿块分割算法框架

格式塔心理学是一种注重整体组织的心理学理论体系,知觉是其研究的起点和重点。格式塔心理学认为,知觉是按照一定的规律形成和组织起来的[17]。我们的知觉过程既包括来自于“自下而上”到达大脑的感觉,也包括被心理学家称为“自上而下”加工的经验和期望[16]。模拟人类的认知特点,捕获并揭示两种控制过程(自下而上与自上而下)之间的关系有着重要的研究意义。本文以乳腺肿块分割问题为研究对象,参考格式塔心理学规则,用计算机来模拟人类的认知过程,将上述两种加工过程在分割问题中进行实例化表示。具体算法框架如图1所示。

图1 算法框架图Fig.1 The framework of our algorithm

算法第一阶段,我们称其为面向局部信息的图像预分割,对应了视觉感知自下而上的加工过程,其充分综合利用了图像的局部特性,包括图像灰度、纹理、空间位置等多种底层特征。第二阶段是面向全局信息的肿块分割,即采用自上而下的深入加工过程,以视觉块作为基本处理基元,借鉴图割(Graph cuts)思想,并且融入了专家的阅片知识与经验,最终实现肿块的全局最优化分割。

1.2 面向局部特征的肿块预分割

1.2.1 视觉块生成 格式塔心理学研究表明,真实的自然知觉经验是组织动力的整体,感觉元素的拼合则是人为的堆砌[17]。医学图像中噪声、伪影、区域不一致现象严重,很大程度上影响了肿块的正确分割,本文采用了文献[18]中对腹腔图像视觉块的划分方法对乳腺图像进行预分割。该方法利用格式塔规则中邻近性、相似性的概念,综合像素灰度、空间位置等局部图像特征,对像素重组,形成如图2所示的视觉块。该方法不仅降低了图像噪声的影响,提高了图像局部一致性,而且简化了图像表示,便于对图像进一步分析处理。

图2 乳腺X线图像视觉块形成Fig.2 The visual patches of X-ray breast image

1.2.2 视觉块纹理特征建模 观察发现,乳腺X线图像间具有较大差异(如图2),影像的形成与病人、设备、环境等多种因素息息相关,很难用单一的纹理模型区分所有图像的肿块与背景区域。视觉块的划分仅仅考虑了简单的图像底层特征,预分割后的图像中仍存在大量纹理相似的视觉块单元。为了进一步简化图像表示,且形成更有意义的“感觉元素”,我们从单幅图像出发,利用图像自相似性进行视觉块合并。研究表明,以像素邻域灰度值构造纹理基元具有较好的纹理表达能力[19]。本文借鉴词袋模型的概念,构造了视觉块的纹理表示模型,如图3所示。

图3 基于词袋模型的纹理表示方法Fig.3 Texture features based on the Bow model

假设图像I={p1,p2，…，pN}中包含N个像素,取每个像素的t邻域集合作为纹理特征,特征集合中gi表示长度为t2的特征向量。若取M个纹理基元(或特征词),则每个像素均可对应特征字典中的一个基元变量。假设视觉块vi由邻接的m个像素组成,该视觉块的纹理特征便可用大小为M的基元直方图hi表示。

1.2.3 基于局部纹理特征的视觉块合并 在格式塔心理学理论中，邻近性、相似性不仅能在图像像素的粒度产生作用,使之聚合形成可视块,还可作用于可视块粒度,指导邻近视觉块合并。因此对于邻近视觉块,即vi∩vj≠∅,定义了相似性函数S(·)，

S(vi,vj)= 1-d(hi,hj)·[size(vi)+

size(vj)]。

(1)

其中,d(·)为视觉块之间的纹理直方图的欧式距离,size(·)为视觉块的空间尺寸,即相邻视觉块纹理值越相近,尺度越小,越相似。我们将采用规则J合并相似的视觉块。

(2)

v′=vi∪vj，

(3)

(4)

size(v′)=size(vi)+size(vj)。

(5)

遍历图像,合并相似性最大且满足小于阈值Ts的邻近视觉块vi和vj,然后更新图像视觉块集合，如式(3)～(5)所示,包括视觉块像素组成v′,纹理特征h′,视觉块大小size(v′),邻居关系等信息。多次迭代上述算法,直到J=0。此时，就完成了计算机模拟人类视觉自下而上的加工过程,得到更为简化的图像视觉块集合,每块均包含了更为丰富的视觉信息,如图4所示。

图4 基于局部纹理特征的视觉块合并结果Fig.4 The merged results of visual patches based on local texture features

1.3 面向全局特征的肿块分割

格式塔心理学最大的特点是强调研究对象的整体性,其关注知觉主体是按何种形式把经验材料组织成有意义的整体。此时肿块分割问题已转化为将视觉块标定成目标/背景的典型二元标号组合优化问题。为了从全局的角度为视觉块正确标注，本文借鉴了图割的思想[20],并加入专家知识,通过最小化全局优化目标函数得到最终肿块分割结果。

1.3.1 全局分割形式化表示 图割理论(Graph cuts)的核心思想在于构造优化目标,利用最小的切割准则实现图像的最佳分割。设无向图G=(V,X)为图像I的形式化表达,V为视觉块集合，V={v1,v2，…，vq},X是视觉块连接权重,邻域集合定义为Q,其元素满足{(vi,vj)⊆Q|vi∩vj≠∅}。集合L={l1,l2，…，lq}表示图像分割(视觉块标注)结果,其中li=1指视觉块i被标注为肿块,反之为背景。于是，上述分割问题可用式(6)表示为

vj)。

(6)

其中,D(·)为数据项,表示区域特性,与视觉块纹理特征相关;B(·)为平滑能量项,与邻域标号相关。权重参数0<γ<1,调节数据项与平滑项的比例。因此，通过最小化能量函数E(·)即获得肿块分割结果。

1.3.2 融入先验知识的图割求解 交互式Graph Cuts算法要求用户在图像上标注背景点与目标点,这种融入专家知识的方法取得了较好的分割效果[21]。鉴于此,本文提出将医生的先验知识融入到求解目标中,一方面可以保证分割质量,另一方面减少人工干预，可以实现全自动化肿块分割。

首先我们研究了大量的乳腺X线图像形成的视觉块,做出如下假设:

1) 肿块通常表现为无隙内核的实质团块或星芒,其中心坏死,密度较高,较正常组织在影像上表现为高亮特性。

2) 从全局角度观察,肿块多数分布于乳腺区域内,即很少出现在图像边缘处。

根据上述假设,首先将视觉块集合V划分为边缘视觉块集合VE与非边缘视觉块集合VN,满足V=VE∪VN,VE∩VN=∅。然后选取如下前景(FS)/背景(BS)种子点:

(7)

BS={g(vi)

(8)

FS为前景种子点,即率先将远离图像边缘的高亮视觉块选定为目标肿块区域;BS为背景种子点,包括低密度视觉块与边缘视觉块两部分。实验结果表明,上述假设在绝大多数肿块图像上均适用。图割算法另一个重要的问题是数据项与边缘项的定义,其决定了图像分割的结果。根据上述先验知识,数据项D(·)定义如下:

(9)

由于单个视觉块FS表达目标前景目标有限,所在构造区域函数时，将其邻域非边缘视觉块也考虑在内,即集合FS*,FS*={Neighbor(FS)∩VN}∪FS,参数c1,c2取较大常数值。从式(9)可知,每个视觉块根据其与先验信息区域的相似度被赋予不同的权重。

此外,平滑边缘项B(·)定义为

(10)

B(·)对相邻数据块建模,按照图割问题最小化目标函数的思想,当肿块视觉块与背景视觉块临近时,将边缘项设置为最小值,否则按视觉块纹理相似性赋值,即相似的视觉块边缘项B(·)值较大,反之亦然。如上述网络图建立完毕,从全局角度出发，采用网络图的最大流/最小割算法[22],获得肿块分割的结果。具体算法流程如下:

Step1面向局部特征的图像预分割：

1)图像视觉块生成；

2)提取视觉块纹理特征；

3)相邻视觉块相似性度量合并,如式(2)所示。

Step2面向全局特征的肿块分割：

1)基于视觉块的图模型建立,如式(6)所示；

2)先验知识建模,标注视觉块；

3)基于先验知识的数据项与边缘项确立,如式(9)和式(10)所示。

Step3采用网络图的最大流/最小割算法,实现肿块的自动化分割。

2 实 验

2.1 实验设置

为了验证本文算法的有效性,在Intel(R) Core(TM) i5 CPU, 4GB内存的Windows7操作系统上,基于Matlab 2012(b)平台进行实验。实验数据来自公开数据集INbreast[23]的50幅包含肿块的X线-钼靶影像。该数据集已由放射科专家标注出分割结果,将其作为本文实验的“金标准”。

为了客观地评价本文算法的性能，实验对比了4种当前流行的图像分割算法,包括OSTU阈值分割算法[6]、区域生长算法(Region grow)[24]、水平集算法(Level set)[25]、核映射图割算法(Kernel graph cuts)[26]。评价指标采用Dice系数、过分割率OverSeg、欠分割率UnderSeg和召回率Recall，定义为

(11)

(12)

(13)

(14)

其中,GT为放射科专家的金标准分割结果,SEG为待评价算法的实际分割结果,OS和US分别对应图像过分割部分与欠分割部分。num(·)函数计算区域面积。本文方法的参数设置如表1所示。

表1 主要参数设置Tab.1 Parameter settings

2.2 验证算法有效性

如图5所示，可视化表示了5类分割算法在INbreast数据集上的分割结果,图中绿色线标注医生手工分割的结果,作为算法评价标准,红色线对应算法分割结果。

由图5可知,OSTU阈值分割只考虑图像灰度,忽略了空间位置信息,因此分割区域往往不连续,受噪声影响较大;区域生长算法、水平集算法改善了阈值分割的不足,但其需要人工辅助交互,属于半自动化的分割方法,分割结果严格依赖人工的辅助输入,其中,水平集算法通过Level set函数曲面的进化，隐含地求解曲线的运动,遇到复杂的肿块纹理时,会产生分割孔洞(图5(a)第3列)。此外,本文也对比了图割的改进算法(Kernel graph cuts),其与OSTU算法均属于自动化的分割方法，使用核函数将图像映射到高维空间,取得了更佳的分割效果,但是，由于缺少先验信息指导,当背景较复杂时，会产生错误分割(图5(c)第4列)。

图5 肿块分割结果与金标准对比Fig.5 Segmentation results and comparisons with ground truth

为了进一步量化比较,本文采用Dice系数、过分割率、欠分割率和召回率4个指标评价上述算法,结果如表2所示，表2中数据是在整个数据集上实验的统计结果,即所有图像分割结果的各项指标的平均值。Dice系数与召回率Recall值越大，表示分割结果越好,过分割OverSeg与欠分割UnderSeg值越小表示分割越准确。其中,自动化算法OSTU与Kernel graph cuts由于缺少对肿块的形态建模,受图像背景影响较大,因此往往产生错误分割。半自动化算法Region grow与Level set需要手工设置初始位置,效果较好。本文算法综合了两种视觉加工方式,对肿块区域及背景区域分别建模,是一种全自动化的分割方法,相比其他流行的分割算法,取得了最佳的分割效果。

表2 肿块分割结果量化比较Tab.2 Quantifying the segmentation results of breast masses

2.3 验证算法参数及算法鲁棒性

本文实验存在两个关键参数,一个是初始视觉块大小参数，另一个是全局分割形式化表示中的数据项与平滑能量项权重参数γ，因此本文设计了如下实验测试参数对算法的影响。如图2所示,初始视觉块是本文分割算法的基础,不难发现,初始视觉块太小难以确定视觉块的纹理特征,而初始视觉块过大(大于实际肿块)则无法准确分割边缘，因此在实验中选择了折中的视觉块大小区间(20～100),然后在整个数据集上展开实验,计算分割结果的平均值,图6显示了上述4种评价指标的变化曲线。由图6可知,本文算法对初始视觉块的大小并不敏感,各项指标差异均较小。主要因为算法在初始视觉块划分的基础上,利用图像的局部纹理特征进行了视觉块的合并,因此初始视觉块大小的变化对最终的肿块分割结果影响不大,经过局部纹理特征合并后的视觉块将作为最终全局分割的重要基础,当视觉块过大时,容易产生肿块位置定位错误、肿块边缘分割困难等问题,因此在实施过程中不宜设置过大的初始视觉块。

图6 视觉块大小对算法性能的影响Fig.6 The performance of our method based on different size of visual patches

文中1.3.1节面向全局特征的肿块分割中,参数γ表示区域特性的数据项与平滑能量项的权重参数，图7为权重γ对算法性能的影响图。如式(6)和图7所示,γ的取值范围为(0,1),γ值越大,表示数据项所占比重越大,反之亦然。由图7可知,随着数据项所占比例增加,平滑项比重减少,分割Dice逐步提高。当γ在0.5附近时,Dice系数取大值,与表2中数据结果一致。当平滑项所占比重越来越小时,分割Dice准确率降低,而过分割率(Overseg)逐步增加,当γ在0.9附近时,召回率(Recall)和过分割率达到最大。因此可以得出结论,在本文算法中数据项较大程度上控制肿块区域的分割,而平滑项对相邻数据块建模,控制了非肿块区域的过分割性。

图7 权重γ对算法性能的影响Fig.7 The performance of our method based on weight parameter γ

本文算法利用格式塔心理学规则,对图像局部信息整合,形成视觉块,具有较强的局部一致性,对噪声不敏感。为了验证本文算法的鲁棒性,为同一幅图像增加了不同程度的高斯白噪声,如图8示,设置噪声均值均为0,方差依次为0.001，0.005，0.01,即对同一图像噪声“污染”程度自左向右逐渐增加。图中绿色线为分割“金标准”,红色线为算法分割结果,以Dice系数评价分割结果。如图8所示,本文算法对噪声具有较好的鲁棒性,在对比算法中,水平集算法和区域生长算法需要人工干预,但对噪声较敏感,Kernel graph cuts算法对图像3表现最好,而图像1和图像2分割结果欠佳,算法不够稳定,OSTU算法在各个图像上均表现不好,增加的噪声严重影响了OSTU算法的分割准确率。与其他算法相比,本文算法的肿块分割结果受噪声影响不大,由于本文算法以视觉块作为基本处理单元,均匀的白噪声消减了腺体组织的边缘效应,因此在某些情况下,肿块的分割效果反而会变好(图8(e3))。本文算法从图像底层特征出发,以视觉块为认知单元,是一种简单有效的局部一致性表达,对噪声具有较强的抗干扰性。

图8 不同噪声下的肿块分割Fig.8 The segmentation performance of methods based on different noise images

2.4 验证算法执行效率

以500*417大小的乳腺图像为例,统计各算法运行效率。如表3所示,本文将算法执行时间分为分割时间与其他时间。其他时间在区域生长算法与水平集算法中,指手工初始化时间,在本文算法中指纹理特征提取时间(1.2.2节)。水平集算法需要多次迭代,因此时间代价往往较大,OSTU算法最简单,但分割效果最差。其他3个算法分割时间效率相当,其中本文算法需要一定的纹理提取时间,该部分不涉及肿块分割,可离线完成,作为自动化的肿块分割方法,本文算法的运行效率较高。

由上文可知,本文算法可细分成3个部分:视觉块形成,“自下而上”的视觉块合并,“自上而下”的肿块分割。以500*417大小的乳腺图像为例,分别统计其执行时间,结果如图9所示。其中视觉块生成需要的时间最长,约0.729s,分割总计时间约0.935s,由于视觉块合并后,算法的处理单元大大减少,因此相比传统的图割算法,本文算法效率具有较大提升。

表3 肿块分割运行时间比较

Tab.3 Process duration of mass segmentation for different methods s

图9 本文算法分割时间分解Fig.9 The execution time for each steps of our method

3 结 语

针对X线图像乳腺肿块分割困难的问题,本文提出了一种基于格式塔认知框架的自动化乳腺肿块分割方法。该方法对格式塔心理学规则建模,模拟了人类视觉特点。以视觉块作为基本处理单元,一方面,从底层图像特征出发,利用图像局部一致性进行视觉块合并,简化图像;另一方面,从全局特征出发,提出了基于视觉块的肿块分割任务的形式化表达,最小化能量函数获取肿块分割结果。实验结果表明,相比其他几种流行的图像分割算法,本文方法取得了更好的分割效果,以视觉块作为处理单元不但降低了计算量,提高了执行效率,而且对噪声具有较强的鲁棒性。

然而,本文算法也有一定的局限性,对于肿块亮度较低、贴近图像边缘的微小肿块分割存在困难。此外,本文算法只是对复杂人类视觉的简单模拟,进一步的算法改进仍有待探索。

[1] DESANTIS C, MA J, BRYAN L, et al. Breast cancer statistics, 2013[J].CA: A Cancer Journal for Clinicians, 2014, 64(1):52-62.

[2] ACHO S N, RAE W I D. Interactive breast mass segmentation using a convex active contour model with optimal threshold values[J]. Physica Medica, 2016, 32(10): 1352-1359.

[3] MIN H, CHANDRA S S, DHUNGEL N, et al. Multi-scale mass segmentation for mammograms via cascaded random forests[C]∥IEEE International Symposium on Biomedical Imaging. IEEE, 2017:113-117.

[4] SAJEEV S, BAJGER M, LEE G. Segmentation of breast masses in local dense background using adaptive clip limit-CLAHE[C]∥International Conference on Digital Image Computing: Techniques and Applications. IEEE, 2017:1-8.

[5] 吕泽华, 赵盛荣, 梁虎,等. 基于Gmac模型的乳腺肿块分割算法[J]. 电子学报, 2014, 42(2):398-404.

[6] JIAO S, LI X, LU X. An improved OSTU method for image segmentation[C]∥International Conference on Signal Processing. IEEE, 2006:164-166.

[7] BERBER T, ALPKOCAK A, BALCI P, et al. Breast mass contour segmentation algorithm in digital mammograms[J]. Computer Methods and Programs in Biomedicine, 2013, 110(2): 150-159.

[9] WANG Y, TAO D, GAO X, et al. Mammographic mass segmentation: Embedding multiple features in vector-valued level set in ambiguous regions[J]. Pattern Recognition, 2011, 44(9): 1903-1915.

[10] OLIVER A, FREIXENET J, MARTI J, et al. A review of automatic mass detection and segmentation in mammographic images[J]. Medical Image Analysis, 2010, 14(2): 87-110.

[11] ELMORE J G, WELLS C K, LEE C H, et al. Variability in radiologists′ interpretations of mammograms[J]. New England Journal of Medicine, 1994, 331(22): 1493-1499.

[12] BHATNAGAR G, WU Q M J, LIU Z. Human visual system inspired multi-modal medical image fusion framework[J].Expert Systems with Applications,2013,40(5):1708-1720.

[14] 孙鹏. 浅析格式塔心理学与视知觉[J].科教文汇(中旬刊), 2009(1):285-285.

[15] ZHU H, MENG F, CAI J, et al. Beyond pixels: A comprehensive survey from bottom-up to semantic image segmentation and cosegmentation[J]. Journal of Visual Communication and Image Representation, 2015, 34(2): 12-27.

[16] PASTUKHOV A. First, you need a Gestalt: An interaction of bottom-up and top-down streams during the perception of the ambiguously rotating human walker[J]. Scientific Reports, 2017, 7(1):1158.

[17] PELTONEN H. Constructivism, Cognition, and Duality[J]. ERIS-European Review of International Studies, 2017, 3(3):70-86.

[18] LI P, FENG J, BU Q R, et al. Multi-object segmentation for abdominal CT image based on visual patch classification[C]∥CCF Chinese Conference on Computer Vision.Heidelberg:Springer, 2015:130-138.

[19] LI Y, CHEN H, ROHDE G K, et al. Texton analysis for mass classification in mammograms[J]. Pattern Recognition Letters, 2015, 52(C):87-93.

[20] RANTALANKILA P, KANNALA J, RAHTU E. Generating object segmentation proposals using global and local search[C]∥Computer Vision and Pattern Recognition. IEEE, 2014:2417-2424.

[21] JIAN M, JUNG C. Interactive image segmentation using adaptive constraint propagation[J]. IEEE Transactions on Image Processing, 2016, 25(3): 1301-1311.

[22] ZHANG H, XU N, XU F, et al. Graph cut based clustering for cognitive radio ad hoc networks without common control channels[J]. Wireless Networks, 2016,22:1-13.

[23] MOREIRA I C, AMARAL I, DOMINGUES I, et al. INbreast: Toward a full-field digital mammographic database.[J]. Academic Radiology, 2012, 19(2):236-248.

[24] PETRICK N, CHAN H P, SAHINER B, et al. Combined adaptive enhancement and region-growing segmentation of breast masses on digitized mammograms[J]. Medical Physics, 1999, 26(8):1642-1654.

[25] YU Y, QU Y, HAN Y, et al. Adaptive distance regularized level set method and its application to image segmentation[C]∥International Conference on Intelligent Human-Machine Systems and Cybernetics. IEEE, 2013:388-391.

[26] BEN S M, MITICHE A, BEN A I. Multiregion image segmentation by parametric kernel graph cuts[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2011, 20(2):545.