基于循环显著性校准网络的胰腺分割方法

邱成健 刘青山 宋余庆 刘哲

胰腺癌具有侵袭性强、转移早、恶性程度高、发展较快、预后较差等特征,根据美国癌症协会报道,其5 年生存率低于10%,死亡率非常高[1].胰腺癌已成为严重威胁人类健康的重要疾病,并对临床医学构成巨大挑战.胰腺的准确分割对胰腺癌检测识别等任务起着至关重要的作用.胰腺处于人体后腹部的解剖位置,其脏器影像常被遮挡不易识别,且其形状和空间位置多变,在腹部CT 图像中所占比例较小,其准确分割问题亟待解决.

近年来,由于深度神经网络的发展以及全卷积网络(Fully convolutional network,FCN)[2]的出现,医学图像分割准确率取得了较大提升.针对不同患者间胰腺形态差异性较大的解剖特征,基于单阶段深度学习分割算法极易受其较大背景区域影响,导致分割准确率下降.现阶段常用解决方法是基于由粗到细的分割算法[3-6],通过粗分割阶段输出掩码进行定位,只保留胰腺及其周围部分区域作为细分割阶段网络输入,减小背景区域对目标区域影响,提高分割精度.由粗到细的分割算法虽然减少了腹部影像背景区域对目标区域的干扰,但是针对形态和空间位置多变的胰腺小器官增强前景区域同样重要.同时粗分割阶段仅保留了定位框的位置信息,却丢失了胰腺输出分割掩码的先验特征信息,从而细分割阶段缺少粗分割阶段上下文信息,有时会获得相比粗分割阶段更差的分割结果,如图1 所示.此外,由于在CT 影像中胰腺与邻近器官密度较为接近、组织重叠部分界限分辨困难,未合理利用相邻切片预测分割掩码上下文信息常导致误分割现象,如图2 所示.结合相邻预测分割掩码容易看出,中间切片存在误分割区域(红色部分),合理利用预测分割掩码切片上下文信息能够校准误分割区域.

图1 粗细分割存在问题示例Fig.1 A failure case of the coarse-to-fine pancreas segmentation approach

图2 误分割示例Fig.2 An example of false segmentation

针对胰腺细分割阶段缺少粗分割阶段上下文信息的问题,文献[3]提出了固定点的分割方法.训练阶段使用胰腺标注数据训练粗分割网络,然后使用粗分割网络的预测结果对原CT 图像进行定位、剪裁,只保留胰腺及其周围部分区域作为细分割网络输入,通过反向传播,优化细分割结果.测试阶段,固定细分割网络参数,使用细分割网络预测掩码获得定位框并剪裁CT 图像,再次输入细分割网络,迭代此过程获得优化的分割掩码,以此缓解缺少阶段上下文信息的问题.但是此分割方法本质上仅循环利用细分割定位框的位置信息,缺少对分割掩码的循环利用,缺少联合训练,导致分割效果提升有限.

针对如何合理利用切片上下文信息解决胰腺与邻近器官密度较为接近、组织重叠部分界限分辨困难导致的误分割问题,研究者提出了利用卷积长短期记忆网络(Convolutional long short-term memory,CLSTM)[7]和三维分割网络的方法[8-10].文献[8] 将相邻CT 切片输入到卷积门控循环单元(Convolutional gated recurrent units,CGRU)[11],使当前隐藏层输出信息融合到下一时序隐藏层中,通过前向传播,当前隐藏层可获得融合之前切片上下文信息的输出表示.文献[9]通过双向卷积循环神经网络,同时利用当前层前后切片上下文信息进行胰腺分割.但是目前大多数基于卷积循环神经网络的分割方法在利用切片上下文信息时,只能按照输入切片顺序、逆序或结合顺序和逆序的方式.这些方式严重依赖输入序列顺序,并且相隔越远的切片在前向传播过程中能够共享的上下文信息越少.与前述方法不同,文献[10]将邻近切片输入三维卷积神经网络,有效利用切片上下文信息,改善了分割结果.但基于三维卷积神经网络的分割方法,受限于三维训练数据量过少和显存消耗过大,大多数方法是基于局部三维块的分割.虽然局部块中切片上下文信息得到了合理利用,但是全局三维信息却缺乏连续性,导致分割掩码存在过多噪点.相比于三维图像分割方法需要解决三维图像数据量过少及参数量过多带来的显存问题,基于卷积循环神经网络的二维图像分割方法存在的问题可以通过设计算法解决.

根据以上分析,本文针对现有基于由粗到细的二维胰腺分割方法中存在的问题,设计了循环显著性校准网络,其结合更多的阶段上下文信息和切片上下文信息.通过设计的卷积自注意力校准模块跨顺序利用切片上下文信息校准每一阶段的胰腺分割掩码,循环使用前一阶段的胰腺分割掩码定位目标区域,增强当前阶段的网络输入,完成分割任务的联合优化.提出的方法在公开数据集上进行了实验验证,结果表明其有效地解决了上述胰腺分割任务中存在的问题.本文的主要贡献如下:

1)提出循环显著性校准网络,循环利用前一阶段胰腺分割掩码显著性增强当前阶段胰腺区域特征,通过联合训练获取更多的阶段上下文信息.

2)设计了卷积自注意力模块,使得胰腺所有输入切片预测分割掩码之间可以平行地进行跨顺序上下文信息互监督,校准预测分割掩码.

3)在NIH (National institutes of health)和MSD (Medical segmentation decathlon)胰腺数据集进行了大量实验,实验结果验证了提出方法的有效性及先进性.

1 相关工作

由粗到细的两阶段分割方法.由粗到细的两阶段分割方法主要分为两类:基于传统算法和基于深度学习的方法.前者主要使用如超像素、图谱等传统算法获得粗分割结果,再通过随机森林、Graphcut 等方法获得细分割结果[12-13];后者主要是基于深度学习的粗细分割方法[14],基于数据驱动、自动化学习模型参数,进行像素级别分类,因其高精度和稳定性,逐渐取代传统由粗到细的分割方法.

基于深度学习的粗细分割方法在粗分割训练阶段,输入CT 切片MC,经过粗分割卷积神经网络f(MC,θC),预测结果记为NC,与真实标签(Ground truth)Y进行损失计算,通过反向传播优化粗分割结果.在细分割训练阶段,针对粗分割网络预测结果,使用最小外接矩形算法获得胰腺位置坐标(px,py,w,h),对CT 输入MC进行剪裁,获得感兴趣区域MF作为细分割网络f(MF,θF)的输入;获得细分割网络输出预测结果NF并还原图像大小,记为Y P,与真实标签(Ground truth)Y进行损失计算,通过反向传播优化细分割结果.其中,上标参数C、F分别表示粗分割阶段和细分割阶段; (px,py),w,h分别表示外接矩形框的左上角坐标,宽和高;θC,θF分别表示粗、细分割网络参数.

在测试阶段,将CT 切片输入训练好的粗细分割网络即可获得测试结果.粗细分割方法中使用的网络主要是基于UNet[15],FCN[2]以及基于这两个基础结构的改进网络.本文在粗细分割方法的基础上针对胰腺解剖性质提出基于循环显著性校准网络的胰腺分割方法,均使用UNet[15]作为基础骨干网络.

胰腺分割方法.传统医学图像分割常用方法有水平集[16]、混合概率图模型[17]和活动轮廓模型[18]等.随着深度学习的发展,基于卷积神经网络(Convolutional neural network,CNN)的分割方法由于其较高的精确度和较好的泛化性逐渐取代传统方法.目前大多数基于深度学习的胰腺分割方法核心思想来源于FCN[2],FCN 改进了卷积神经网络,用卷积层替代最后的全连接层,同时将浅层语义特征通过上采样与深层特征相融合,补充分割目标的位置信息,提高了分割准确率.另一种常用于胰腺分割的方法采用“编码器-解码器”结构[15],编码器负责逐层提取渐进的高级语义特征,解码器通过反卷积或上采样的方法逐层恢复图像分辨率至原图大小,同一层次编码器和解码器通过跳跃结构相连接.

由于胰腺形状、大小和位置多变,上述单个阶段基于FCN 或“编码器-解码器”结构的分割网络难以获得准确分割结果.文献[3]首先提出了基于卷积神经网络由粗到细的两阶段分割算法,使用粗分割掩码的位置信息剪裁细分割阶段网络的输入,减小背景区域对胰腺区域分割的影响.相比于文献[3],文献[19]更进一步,在使用由粗到细的两阶段分割算法的同时,通过设计轻量化模块减少了粗细分割阶段模型的参数;而文献[20]则直接以中心点为基础剪裁图像作为细分割网络的输入.文献[21]利用肝脏、脾脏和肾脏的位置信息定位胰腺器官,这不同于上述直接通过粗分割定位胰腺器官的方法.文献[22]提出基于由下至上的方法,首先使用超像素分块进行粗分割,然后基于超像素块集成分割结果.文献[23]使用最大池化方法融合CT 切片三个轴信息,获取候选区域,在候选区域中从边缘至内部聚合分割结果.文献[24]提出基于图谱的粗细分割方法,改善了分割结果.近来,文献[25]提出了一种基于强化学习的两阶段分割算法.首先,使用DQN (Deep Q network)回归胰腺坐标位置,剪裁只保留胰腺及其周围部分区域;然后,细分割阶段使用可行变卷积网络获得分割结果.

以上方法均取得了较为准确的分割结果,但是将胰腺分割粗细两阶段分开训练,细分割阶段缺少粗分割阶段上下文信息的问题,依然难以用有效的方式处理.文献[3]在测试阶段使用固定点算法,固定细分割模型参数,循环利用当前阶段预测分割掩码获取定位框位置信息作为下一阶段输入的先验,以此达到使用之前阶段上下文信息的效果.此方法本质上只迭代使用细分割定位框位置信息,缺乏粗分割输出分割掩码的有效利用.

合理使用切片上下文信息解决胰腺误分割,同样至关重要.文献[8,26]首先使用卷积神经网络提取特征,然后利用卷积长短期记忆网络[7]提取切片上下文信息分割胰腺,但切片上下文信息不能够跨顺序、平行化共享,并且前向传播存在信息丢失的问题.文献[27]使用对抗学习思想,分别使用两个判别器约束主分割网络,捕获空间语义信息和切片上下文信息,但对抗网络的不稳定性使得训练和测试结果波动性较大.文献[28]使用相邻切片局部块作为输入,编码器部分使用三维卷积以递进的方式逐层融合切片上下文信息,解码器部分使用二维转置卷积输出中间切片分割掩码.由于CT 切片之间层厚和层间距的差异性,且局部块输入未使用任何插值方法,捕捉到的三维切片上下文信息具有不一致性和局部性.文献[10,29-30]使用三维分割方法获取切片上下文信息,受限于显存和三维数据量,全局三维信息缺乏连续性.

针对现有胰腺分割方法中缺少阶段上下文信息的问题,以及在使用循环卷积神经网络分割胰腺的过程中,利用相邻切片上下文信息存在顺序依赖并且随着相邻切片间隔距离的增加导致全局信息正相关减少的问题,本文提出了一种循环利用阶段上下文信息和切片上下文信息的二维胰腺图像分割网络.首先,将相邻CT 切片作为粗分割网络输入,获得粗分割掩码;然后,通过最小矩形框算法对获得的粗分割掩码进行胰腺区域坐标定位;接着,使用粗分割掩码作为权重增强细分割阶段输入切片的胰腺区域特征,获取细分割掩码,细分割掩码以同样的方式增强下一阶段分割网络的输入;最后,循环迭代上述过程直到达到指定停止条件.通过此方法,有效降低了分割平均误差,提高了分割方法的稳定性.

2 本文方法

针对当前由粗到细的两阶段胰腺分割算法利用阶段上下文信息和切片上下文信息存在的问题,本文提出了循环显著性校准网络.其采用UNet 和卷积自注意力校准模块作为骨干网络,接受相邻横断位胰腺CT 切片输入;当前阶段卷积自注意力校准模块利用切片上下文信息校准UNet 输出掩码的同时,利用自身输出掩码显著性增强下一阶段UNet网络输入;循环UNet 和卷积自注意力校准模块,联合阶段上下文信息和切片上下文信息提升分割性能,整体网络架构如图3 所示.

图3 循环显著性校准网络Fig.3 Recurrent saliency calibration network

2.1 循环显著性校准网络

本文聚焦于联合阶段间和胰腺序列图像切片上下文信息提升分割准确率.为了合理利用当前阶段胰腺分割掩码的位置和形状等先验信息,显著增强下一阶段分割网络的输入;同时,通过平行、跨顺序直接利用相邻切片分割掩码改善自身明显误分割现象,提出循环显著性校准网络,其分割迭代过程如图4 所示.循环显著性指每个阶段的校准分割掩码P经增强模块g(P,φ)特征提取后获得像素矩阵,此像素矩阵为胰腺前景相关矩阵.使用此像素矩阵和下一阶段输入图像M进行像素对像素相乘,显著增强胰腺区域,抑制背景区域.

选择UNet 基础分割网络模型f(·,θ)作为骨干网络,该模型的输入为胰腺的相邻CT 切片,记为X,通过基础分割网络模型推断出输出掩码N.由于胰腺与邻近器官密度较为接近、组织重叠部分界限分辨困难,容易导致基础分割网络出现误分割现象.因此,本文基于切片上下文信息设计了卷积自注意力校准模块a(·,η),校准基础分割网络输出的分割掩码N,卷积自注意力校准模块的输出表示为P;为了能够获取更加准确的胰腺位置,设置了固定分割掩码像素阈值0.5,来二值化P,其输出表示如式(1)所示.

其中,i、j为分割掩码中像素值位置坐标.

通过对式(1)的输出Z应用最小矩形框算法获得包围胰腺分割掩码框的位置坐标 (px,py,w,h),位置坐标获得过程如图5 所示.其中,蓝色框为单个连通区域分割结果的定位,绿色框为整合多段分割结果的定位.

图5 基于最小矩形框的定位过程Fig.5 The process of localization based on minimum rectangle algorithm

为改善下一阶段分割过程中缺少当前阶段上下文信息的问题,使用校准模块输出分割掩码P作为潜在变量输入到显著性增强模块g(P,φ),提取特征概率作为下一阶段分割网络输入X的先验空间权重,并结合上述定位坐标 (px,py,w,h)增强并缩小下一阶段网络的输入,显著减小背景区域对分割的影响.对于在整个腹部图像中区域占比较小,形状和位置多变的胰腺器官来说,此过程极为重要,其显著增强了胰腺区域,弱化了不相关区域.过程如式(2)所示.

其中,M为增强并缩小的下一阶段输入;⊗表示对应像素点相乘;Crop 表示利用定位坐标(px,py,w,h)对各阶段输入做剪裁.θ,η,φ为相应模块共享网络参数.

图4 右图是图4 左图的展开形式,其中M0作为胰腺初始输入图像和X相同,其大小远大于其他阶段的网络输入Mt(t ＞0),所以第一次粗分割阶段和其余分割阶段网络参数θ应加以区分,分别使用θC和θF表示.在循环迭代过程中,由于各分割阶段输入X不变,并且输入X需与显著性增强模块g(P,φ)输出作逐像素相乘,为了保持g(P,φ)是一个输入输出同大小的模块,设置卷积核大小为3×3,步长为1,填充为1.

图4 迭代过程Fig.4 Iteration process

整个循环迭代分割过程如式(3)所示.

根据以上分析可以看出,整个网络运算过程是可微的,结合所有阶段损失函数进行联合训练.本文采用DSC (Dice-Sϕrensen coefficient)作为损失函数,如式(4)所示.

其中,Y是真实标签,P为各阶段预测分割掩码.

结合各阶段分割网络和卷积自注意力校准模块,DSC 联合损失函数如式(5)所示.

其中,T为循环分割次数停止阈值.由于粗分割阶段和其余分割阶段胰腺切片输入大小不一致,粗分割阶段主要用于获取胰腺的初步定位和粗分割掩码,故设置较小的权重参数,且满足3λ0=λ1=λ2=···=λT=3/(3T+1).

2.2 卷积自注意力校准模块

针对胰腺与邻近器官密度较为接近、组织重叠部分界限分辨困难而导致的误分割问题,本文提出在循环显著性校准网络每个分割阶段嵌入卷积自注意力校准模块,其合理利用切片上下文信息校准胰腺相邻切片误分割区域.

本文设计的卷积自注意力校准模块基于自注意力机制[31].自注意力机制在处理序列信息输入时,能够跨顺序、平行化地与序列输入中其他时间点输入进行直接交互.但由于自注意力机制使用的线性变换忽略了图像像素之间的空间关系,本文提出卷积自注意力校准模块,使用卷积操作替换线性变换.卷积自注意力校准模块如图6 左图所示(图中以批次大小3 为例),图6 右图为图6 左图中获得单张校准分割掩码的计算过程,其余两张切片校准分割掩码获得过程计算方式类似,图中P表示预测分割掩码的热力图显示,中间是颜色条，其取值范围在[0,1.0]之间.为了描述和解释的方便,将卷积自注意力校准模块中所有标量以向量或者矩阵的形式表示如下.

图6 卷积自注意力校准模块网络图Fig.6 Network of convolution self-attention calibration module

其中,Nt为分割网络f(Mt,θ)输出的相邻分割掩码;Q为查询特征向量;K,V为键值对特征向量;B为相似度度量矩阵;C为像素权重矩阵;Pt为校准模块输出掩码.

为了提取多样性的特征表示,首先将相邻分割掩码Nt中的每一个元素分别通过 3×3 卷积,获得输出α1,α2,α3; 然后将输出特征α1分别通过3 个不同的1×1卷积,获得的查询特征向量q1和键值对特征向量k1,v1;输出特征α2,α3以与α1相同的方式获得 (q2,k2,v2)和 (q3,k3,v3),其中所有3×3 和 1×1 卷积都保持输出和输入大小一致.下面通过Q、K、V来表示输出掩码Pt获得的过程,如式(6)～式(8).

B为Nt中的每个元素的特征查询向量分别与其他元素的键向量作相似度度量获得的矩阵,表示其他元素对当前元素的影响程度,这里相似度度量是像素对像素的乘法操作,dk为键向量维度.C通过 s oftmax 函数对相似度度量矩阵进行归一化,dim=-2表示对倒数第二个维度进行归一化;获得像素权重矩阵以后,与Nt中的每个元素的值向量v像素对像素相乘,再进行融合获得最终输出表示Pt.分别用式(9)～式(15)表示详细计算过程,其中卷积操作都拥有不同的参数.

3 实验结果与分析项

3.1 数据集及预处理

本文实验使用NIH[22]胰腺分割数据集和MSD[32]胰腺分割数据集.NIH 数据集总共包含82位受试者的CT 样本,每位受试者样本中CT 切片数量最少181 张,最多466 张,每一张切片大小为512×512像素,切片厚度在0.5 mm 到1.0 mm 之间;MSD数据集总共包含281 位受试者的CT 样本,每位受试者样本中CT 切片数量在37 到751 之间,每一张切片大小为 5 12×512 像素.

在本文实验中,所有CT 切片的HU (Housefield unit)值根据统计结果被限制在 [-120,340],并把CT 切片及其对应标签归一化到[0,1]之间,同时随机做 [-15°,15°] 随机旋转.

3.2 实验方法细节及评价指标

实验使用Pytorch 1.2.0 版本,在Ubuntu 16.04 操作系统的2 块RTX 2080ti 独立显卡进行训练,训练时批次大小设置为3,使用ReLU[33]作为激活函数,Adam[34]作为优化方法,学习率lr=1.0×10-4,受限于显存大小,训练阶段最大迭代次数T设置为4.实验使用4 折交叉验证方法确保结果的鲁棒性.数据集被平均分为4 份,每次选择其中的3 份作为训练集,另1 份作为验证集.共实验4 次,计算平均DSC 准确率,作为最终结果.

训练过程.训练过程中需要通过反向传播算法最小化损失函数(式(5)).值得注意的是:训练过程前期,由于网络参数的随机初始化,各阶段产生了错误分割掩码,所以训练初始阶段使用标准标签作为上下文先验,增强并剪裁下一分割阶段网络的输入.

测试过程.测试过程和训练过程不同,测试阶段缺少标准标签,所以使用各阶段分割掩码作为先验信息,增强并缩小下一阶段的输入;同样,测试过程中不需要优化参数,对于中间结果可以丢弃,所以迭代次数的阈值不再限于GPU 显存,理论上可以无上界.本文设定测试的循环分割次数停止阈值T为6,因为实验的观察结果表明,当迭代次数较大时分割准确率提升有限.

实验采用DSC 作为评价指标,如式(16)所示,真实标签和分割掩码交集的两倍与真实标签和分割掩码并集的比值.其中,Y是真实标签,P为预测分割掩码.

3.3 实验对比分析

本节基于公开数据集(NIH 和MSD)设置不同实验对照组,验证基于循环显著性校准网络的胰腺分割方法.主要分为5 部分:1)阶段上下文信息有效性分析;2)切片上下文信息有效性分析;3)结合阶段上下文信息和切片上下文信息的循环显著性校准网络有效性分析;4)输入切片数目对分割结果的影响;5)网络模型参数量及时间消耗.

3.3.1 阶段上下文信息有效性分析

本节对比实验展示阶段上下文信息对于分割性能的影响,分别进行了两部分实验.

1)针对粗细分割分开训练、粗细分割联合训练以及循环显著性网络联合训练进行对比实验.粗细分割联合训练以及循环显著性网络联合训练都使用了显著性增强模块利用阶段上下文信息,其中每一分割阶段都去掉了卷积自注意力校准模块.实验结果如表1 所示.其中粗细分割联合训练相比于粗细分割分开训练在两个数据集上都展示了更高的平均分割准确率和更低的标准差,其主要因为显著性增强模块显著性增强胰腺区域并联合粗细分割阶段上下文信息进行联合优化;而循环显著性网络联合训练相比于粗细分割联合训练带来的分割效果提升,来源于使用更多的阶段上下文信息联合训练.由上述分析可知,更多的阶段上下文信息对于胰腺分割准确率提升有重要贡献.

表1 粗细分割分开训练、联合训练和循环显著性联合训练分割结果Table 1 Segmentation of coarse-to-fine separate training,joint training and recurrent saliency joint training

2)针对循环显著性网络测试阶段进行分析,如表2 所示.随着第1 次迭代,在NIH 数据集上,胰腺的平均DSC 准确率从76.81%上升到84.89%,标准差从9.68%降到5.14%;在MSD 数据集上,胰腺的平均DSC 准确率从73.46%上升到81.67%,标准差从11.73%降到8.05%.由于粗分割阶段分割掩码上下文信息的引入,平均DSC 准确率和稳定性都有较大的提升.但是,后续迭代过程中,由于分割掩码先验信息对于较准确分割结果作用的减少,在两个数据集上平均DSC 准确率和标准差仅仅小幅度上升和下降;但对于最小DSC 分割准确率提升明显,分别从40.12%上升到最高的62.82%、47.76%上升到最高的64.47%,有效提升了胰腺分割困难样本的DSC 分割准确率.

表2 循环显著性网络测试结果Table 2 Test results of recurrent saliency network segmentation

3.3.2 切片上下文信息有效性分析

本节对比实验展示切片上下文信息对于胰腺分割性能的影响,分别进行了两部分实验.

1)针对粗细分割以及循环显著性网络联合训练在添加和未添加卷积自注意力校准模块利用切片上下文信息情况下,进行实验结果分析,如表3 所示.相对于未添加卷积自注意力校准模块的粗细分割联合训练,添加了卷积自注意力校准模块的粗细分割联合训练在NIH 数据集上,胰腺平均DSC 准确率提升了1.64%,标准差下降了0.40%;在MSD数据集上,胰腺平均DSC 准确率提升了1.29%,标准差下降了0.88%.在两个数据集上,胰腺最小DSC 分割准确率也有所上升.同样,循环显著性网络联合训练在添加卷积自注意力校准模块(本文方法)时,相比于未添加卷积自注意力校准模块,其分割性能在分割准确率和稳定性上均提升明显.由此可以看出,卷积自注意力校准模块能够利用切片上下文信息改善胰腺分割结果.

表3 添加校准模块结果对比Table 3 Comparison results of adding calibration module

2)针对本文方法中校准模块分别基于卷积自注意力或者基于卷积循环神经网络在分割胰腺时进行实验对比,如表4 所示.将本文方法框架中卷积自注意力校准模块分别换成单层卷积长短期记忆循环神经网络(CLSTM)[7]、单层卷积门控单元(ConvGRU)[11]和单层轨迹门控循环单元(TrajGRU)[35]等卷积循环神经网络,进行实验对比.从两个数据集的实验结果可以看出,基于卷积自注意力的校准模块不管是在胰腺平均DSC 分割准确率、标准差或者最大、最小分割准确率上都要好于部分基于卷积循环神经网络的校准模块[7,11,35].

表4 胰腺分割基于CLSTM 和自注意力结果对比Table 4 Comparison results based on CLSTM and self-attention mechanism in pancreas segmentation

3.3.3 循环显著性校准网络有效性分析

为进一步说明本文所提方法在胰腺分割方法中的优势,本文方法与当前具有代表性的方法进行了比较.

NIH 胰腺数据集上实验结果如表5 所示,本文方法与其他具有代表性的胰腺基准分割方法进行了比较.相比于其他二维胰腺分割方法[3,19-23,26,36],在以下两方面改进:1)联合训练利用更多的阶段上下文信息;2)使用卷积自注意力校准模块校准每一阶段胰腺分割掩码.平均DSC 分割准确率从最高的85.40%提升到87.11%,显著改善了胰腺平均分割结果;最大分割准确率从最高的91.46% 上升到92.57%.相比于三维胰腺分割方法[5,10,29-30,37],本文提出的卷积自注意力校准模块充分利用切片上下文信息,显著减少参数量(GPU 显存消耗)的同时,达到三维分割同等效果,提高了运算效率,并且将胰腺平均分割准确率从最高的86.19%提升到87.11%,最大分割准确率从最高的91.90%上升到92.57%.

表5 NIH 数据集上不同分割方法结果比较(“——”表示文献中缺少参数说明)Table 5 Comparison of different segmentation methods on NIH dataset (“——” indicates a lack of reference in the literature)

MSD 胰腺数据集上实验结果如表6 所示,本文方法与具有代表性的胰腺基准分割方法进行了比较.相比于二维分割方法[28],平均DSC 分割准确率从84.71%提升到85.13%,标准差从7.13% 降到5.17%,显著提升了胰腺分割方法的稳定性;最小分割准确率从58.62% 上升到68.24%,提高了困难样本的分割准确率.相比于三维胰腺分割方法[38-40],平均DSC 分割准确率从最高的84.22%提升到85.13%;最大和最小分割准确率均有所提升.

表6 MSD 数据集上不同分割方法结果比较Table 6 Comparison of different segmentation methods on MSD dataset

本文方法在NIH 及MSD 胰腺数据集上箱线图如图7 所示.本文对部分结果进行了展示,如图8、图9 所示.选取了5 个受试者样本,同一行为同一个受试者不同切片的胰腺分割结果.蓝色实线代表预测结果,红色实线代表真实标签.从图中可以看出,本文方法分割结果和真实标签非常接近.

图7 本文方法在NIH 数据集及MSD 数据集上箱线图Fig.7 Box plot of the method in this paper on NIH dataset and MSD dataset

图8 NIH 数据集分割结果对比Fig.8 Comparison of segmentation results on NIH dataset

图9 MSD 数据集分割结果对比Fig.9 Comparison of segmentation results on MSD dataset

3.3.4 输入切片数目对分割结果的影响

为进一步说明胰腺输入切片数目对本文方法的影响,将切片数目输入分别设置为3、5、7 进行实验比较,如表7 和表8 所示.随着胰腺输入切片数目的增加,平均DSC 分割准确率和最大DSC 分割准确率均有小幅度提升,最小DSC 分割准确率提升更为明显.可以看出,增加切片数目对于分割困难样本具有较大的帮助.对于胰腺器官边界模糊的困难样本、胰腺周围脂肪与十二指肠灰度分布较为接近的困难样本以及切片中分割目标较小的困难样本,结合更多的切片数目能够明显提升目标分割精度.

表7 NIH 数据集不同网络输入切片数目分割结果比较Table 7 Comparison of the segmentation of different network input slices on NIH dataset

表8 MSD 数据集不同网络输入切片数目分割结果比较Table 8 Comparison of the segmentation of different network input slices on MSD dataset

3.3.5 网络参数量及时间消耗

本文使用UNet 作为基础骨干网络,除粗分割阶段,后续分割阶段共享网络参数,减少了参数量.相比于FCN[2]经典分割网络,提出的分割模型具有更少的参数量,如表9 所示.虽然相比于单阶段的UNet[15],3D UNet[41],AttentionUNet[42]和UNet++[43]等分割网络,参数量有所增加,但是单阶段的分割方法分割精度较低;相比于Fix-point[3]使用FCN 作为骨干网络并且利用三个轴状面分别训练模型分割胰腺,本文参数量显著减少;相比于GGPFN[28],虽然参数量有所增加,但是分割精度有所提升.

表9 不同分割方法参数量比较Table 9 Comparison of the number of parameters of different segmentation methods

文献[44]使用胰腺器官的三个轴状面作为输入训练模型,并且分割阶段使用额外两个模型融合视觉特征,增加了时间消耗,如表10 所示.文献[23]在三个轴状面上分别进行定位、分割,在Titan X(12 GB)GPU 上训练了9～12 个小时.文献[22]使用由下至上的方法,首先使用超像素分块,然后基于超像素分块集成分割结果,每个阶段分开训练.而本文胰腺分割方法使用端到端的训练方法,降低了每个病例的平均测试时间.文献[3]使用固定点方法,分别使用三个FCN 训练胰腺的三个轴状面输入图像,循环使用细分割掩码位置信息优化分割掩码,显著增加了时间消耗.相比于上述方法,本文胰腺分割方法虽然增加了循环显著性模块和校准模块,但循环显著性模块和校准模块设计简单并且基于矩阵运算,运算时间增加不明显,并且本文方法仅基于横断面作为输入,使用UNet[14]而非FCN[2]作为分割骨干网络,显著减少参数量及前馈传播时间.相比于文献[36]基于循环卷积神经网络使用多切片作为输入,本文方法训练及测试时间有所增加,但分割精确度提升明显.

表10 不同分割方法时间消耗比较(“——”表示文献中缺少参数说明)Table 10 Comparison of time consumption of different segmentation methods (“——” indicates a lack of reference in the literature)

4 总结与展望

针对胰腺分割面临的问题,本文提出了基于循环显著性校准网络的胰腺分割方法.其主要贡献在于:1)利用更多的阶段上下文信息联合训练,改善了传统由粗到细胰腺分割方法仅使用粗分割阶段输出掩码定位框坐标信息作为细分割网络输入的先验,导致缺少阶段上下文信息的问题;2)使用卷积自注意力校准模块跨顺序、平行化利用相邻切片上下文信息的同时,自动校准每一分割阶段输出掩码,解决了胰腺与邻近器官密度较为接近、组织重叠部分界限分辨困难导致的误分割问题.和其他胰腺分割方法相比,本文方法显著提高了样本平均DSC分割准确率并改善了困难样本分割结果.本文方法可用于辅助医疗诊断,后续研究将考虑如何进一步利用更多的阶段上下文信息及切片上下文信息改善分割结果的同时,使用模型蒸馏方法轻量化模型框架.