基于改进深度学习的乳腺癌医学影像检测方法

陈彤

（北方工业大学信息学院，北京100144）

0 引言

乳腺癌已逐渐成为女性患病致死的主要因素，若为早期难以预防，而晚期则难以很好治愈[1]。因此，降低致病风险的关键是及早治疗。早期预防和诊断有助于发现隐患并尽快采取康复措施，提高疗效果。但是，乳腺癌医学影像确诊结果往往更多依靠医生的临床经验判断。目前人工诊断病情受医生主观因素影响较大，而结合计算机检测分割方法处理病灶图像目标区域，不仅节省时间精力，还能尽早根据检测结果得出早期的治疗方案，提高就诊效率。

现阶段实际应用的乳腺癌影像检测分割方法多为基于医生给定的特征准则，匹配检测图像中的病灶范围一般基于传统特征提取算法。如Cahoon T.C.等人提出的一种基于K-近邻算法的乳腺图像检测方法，改善了乳腺X 光影像病灶分割结果[2]。Zhang 等人基于一类核主成分分析（KPCA）模型集成的分类方案，针对乳腺癌活检图像做出了有效分类[3]。Wang Pin 等人使用结合小波分解和多尺度区域增长进行ROI 定位法，针对组织病理正常的细胞中检测出癌症隐患[4]。然而，这些算法需要设计开发者具备一定的医学领域知识，而且传统特征提取方法一般应用于特定图像类型，很难泛化到其他检测领域，因此，这在一定程度上限制了传统特征提取算法在乳腺癌图像检测中的应用。

与传统目标检测方法不同，深度学习目标检测方法可以更好地提取图像低层纹理和高层语义特征，从而提升检测结果的准确性，且迁移学习方法的提出使深度学习具有一定泛化性。如Spanhol 等人提出结合DeCaf 特征评估方法，改进卷积神经网络，针对乳腺癌切片图像开发适用于恶性乳腺肿瘤的自检系统[5]。LIU Xiao-ming 等人基于迁移学习方法使用自适应支持向量机，针对X 光影像中恶性肿瘤正样本和结构紊乱的负样本，解决数据样本少的问题[6]。Chu Jinghui 等人利用二次迁移学习方法在乳腺X 光影像和MRI 影像分别构建了辅助诊断系统，且检测性能较主流系统有所提升[7]。基于深度学习的检测方法能更好地获取目标图像多尺度信息，然而，当检测目标特征不显著，与含有近似特征的非目标区域易出现误检漏检的问题。针对这些问题，本文提出了一种引入难样本挖掘机制的深度神经网络，实现了乳腺癌MRI 影像病灶区域的检测分割，提高了原始网络模型对于乳腺癌图像的检测精度。

1 YOLACT网络结构

在目标检测模型中，以R-CNN 系列网络应用最为广泛，其主要分为两种思路：如R-FCN[8]、Faster R-CNN[9]等二阶段网络注重精度；如YOLO[10]、SSD[11]等一阶段网络注重速度。Mask R-CNN[12]是图像分割领域中效果最好的网络结构之一，它基于Faster R-CNN 引入一层Mask 分支生成检测图像结果区域的目标纹理掩膜。受此影响，最新的图像分割模型中提出了YOLACT[13]网络模型，与Mask R-CNN 在Faster R-CNN 改动不同，它摒弃了二阶段模型中隐含的特征定位步骤，将图像分割任务分为两个并行分支。YOLACT 在现有的一阶段型模型上添加原型mask 分支和目标检测分支的优点在于：

（1）速度快，由于采用了并行结构与轻量化的组合方式，使其在一阶段检测网络的基础上只添加了少量计算量，在主干网络为ResNet-101+FPN 的情况下达到30fps；

（2）分割mask 质量高，由于没有使用两阶段方法中的池化操作使得可以获得无损失的特征信息，并且在大目标的分割场景下性能表现更优秀；

（3）模块通用化，模型中原型生成与mask 系数可以添加到现有的检测网络中去。

1.1 网络模型结构

YOLACT 网络结构中去除了特征池化操作。取而代之的是将整个任务划分为了两个并行的子任务：

（1）原型网络分支，使用FCN 的网络结构去生成原型mask，如图1 所示，特征金字塔网络结构生成的特征映射P3 经过一组FCN 网络结构，先经过一层3×3卷积，后经过一层1×1 卷积，再经过上采样生成k 个尺寸为138×138 的原型，其中k 为mask 系数；

图1 原型网络分支结构

（2）目标检测分支，该分支对每个anchor 去预测mask 的系数，如公式（1）所示：其中4 个表示候选框信息，c 表示类别系数，k 为原型网络生成的mask 系数，经过mask 分支与原型mask 做线性运算从而结合两个分支的结果可以确定预测目标的位置信息和mask 信息；最后，在对所有目标生成相应mask 系数后，与原型mask 做线性加乘运算，再根据候选框进行裁剪，类别进行阈值筛选，即得到每个目标相应的mask 信息及位置信息，具体计算如公式（2）所示P 为原型mask 集合由特征映射的长宽和mask 系数乘积所得，C 表示通过网络的实例个数与mask 系数的乘积，σ 为Sigmoid 函数，M 即为原型mask 与检测分支组合结果。流程图如图2 所示。

图2 YOLACT模型结构图

1.2 数据库搭建及数据预处理

训练深度神经网络需要大量已标记的图像数据，由于网络公开数据集数据量少，数据模态单一，如单一的几组X 光或MRI 影像。故本文通过收集部分公开数据集并对其中数据做相应预处理，解决数据类型单一，数据量不充分等问题。

数据集为Rider Breast MRI 公开数据集，数据类型为乳腺核磁共振影像（MRI），如图3 所示为部分实验数据。

图3 部分乳腺样本图像

选取了其中2400 幅288×288 大小尺寸的DCM 格式数据作为实验训练集，使用mDicom 软件将数据转换为可处理的PNG 格式图像，并对数据集几何变换（旋转、镜像、裁剪缩放）扩充数据至6000 个含有正负样本的不同数据进行模型测试。如图所示为部分预处理后数据集，其中部分数据含有对应全局影像的病灶区域，图（a）为原始图像，图（b）为旋转180 度图像，图（c）为水平镜像图像，图（d）为围绕高亮区域基于原图1/4 裁剪图像，图（e）为数据集病灶标记图像。

图4 预处理后部分乳腺样本图像

根据图中病灶区域位置对RBM 数据集原图像中病灶区域进行病灶位置及形状标注，标注工具使用labelme，如图5 所示为工具界面。标记后数据中4400个有对应病灶标记正样本和1600 个含有模糊病灶区域图像为负样本。所有含标记数据进行一定比例随机分组，其中4800 个样本作为训练集，剩余1200 个为测试集。

2 网络模型结构微调

基于速度和性能方面的考虑，YOLACT 所使用的主干检测网络是参考RetinaNet 采用带FPN 的ResNet-101 网络。预测网络的头部结构设计如图6 所示，右侧生成的三层分别代表4 个表示位置信息值，C个表示类别信息值以及k 个mask 系数值。

图5 labelme标注工具

图6 YOLACT预测网络头部结构

在实际应用中，预训练网络模型往往无法直接处理相应任务，例如图像分类任务中，MS COCO 数据集模型有80 个类别，针对小规模数据集往往类别较少，因此需在网络模型参数基础上进行微调，如调整分类层类别数，建立适合实际应任务的网络模型，更快针对特定任务制定策略。

本文对于原始模型的部分训练参数修改进行了修改并引入难样本挖掘机制提升模型性能[14]。如公式（3）所示，LIoU 和Lscore分别为位置和类别误差：

其中，总置信度1 减去分类置信度p，其结果表示分类误差值Lscore，其中p 是由分类层输出的概率值，计算过程如公式（4）所示。

LIoU 为目标位置误差，计算过程如公式（5-6）所示：

公式（6）计算得出o 为交并比（IoU），其由真实区域和预测区域的交集与并集的比值得出，且初步设置阈值为0.5，以此判断候选框是否为目标域。在公式（5）中取二者差值作为主要判别指标，并在此基础上引入敏感系数k，提升难样本的判定标准，使易造成检测结果影响的样本间误差更为明显。

公式（3）中L（o，p）是最终评判结果，由样本类别及位置误差代数和得出。设定阈值区间判定检测样本是否为难样本，具体流程如图7 所示，在mask 合成后对产生样本进行难样本判定，若误差值处于设定区间则判定该样本为难样本，并返回至特征提取网络后的检测分支及原型分支，以此可以解决模型过拟合，数据量不足等问题，改善模型检测精度。

图7 引入难样本挖掘机制流程图

在YOLACT 网络模型训练过程中，前端卷积层保留原有特征金字塔结构，为保证原网络结构中原型mask 易于从最终mask 中剔除，继续选择使用函数区间为[-1，1]的Tanh 激活函数，函数图像如图8 所示。

图8 Tanh函数曲线

在预训练参数设定上，根据预训练网络初始化权重，自定义分数阈值设置为0.5，迭代次数初步定为10000，并根据测试结果决定是否继续断点再训练，从而使损失值进一步收敛。批处理参数根据实验显卡型号初步设为4，防止显存溢出，步长系数和Padding 保持1，参数设置如表1 所示。

表1 实验参数设置

3 实验结果及分析

实验环境搭建基于CUDA10 并行计算平台及CUDNN7.3 深度神经网络GPU 加速库，编程语言采用Python 编写相关功能模块，深度学习框架基于PyTorch 1.x 版，GPU 配置为显存11g 的NVIDIA RTX 2080TI，如图9 所示为程序运行的检测结果。

图9 程序运行结果图

实验结果检测标准衡量指标采用平均准确率均值（mean Average Precision，mAP）。具体计算如公式（7-8）所示，精确率（P）表示模型预测出结果中检测结果中正样本相对含负样本的总集比值，召回率（R）表示检测结果中正样本相对漏检样本的总集比值。公式（9）中，AP 为不同召回率下精确率最大值的均值。得出的全部均值再取平均得出最终的mAP。

本文对比YOLACT 网络、Mask R-CNN 网络及本文实验方法，对比结果如表2 所示。实验结果表明，改进后融合难样本挖掘机制的检测模型与原模型相比，真实患病图像及含有模糊病灶区域图像的检测精度提升近3%，与Mask R-CNN 相比在运行速度上仍更为快速，且识别精度相差不明显。

表2 不同实验方法的对比结果

4 结语

本文针对乳腺癌医学影像检测方法，将YOLACT网络结构微调，使用RBM 乳腺癌数据集训练模型。对于正负样本不均衡、图像检测特征不明显及数据量不足等问题引入难样本挖掘机制。通过实验对比两种检测分割模型，本文方法在测试集中真实患病图像和含有模糊病灶区域图像的检测精度有一定提升，且对于二者隐含干扰因素的适应性较好，降低了误检率，提高了原始网络模型在医学影像检测分割任务中的性能。