基于深度学习的医学图像分析综述

扈晓君 杨宝栋

（山东中医药大学 山东省济南市 250355）

1 引言

早期的医学图像分析是通过较低的像素和数学建模来构建基于规则的系统去解决特定的任务。在当时的人工智能领域，有一个类似专家系统的GOFAI，其是一个基于规则的图像处理系统，而且性能较差。随着近些年机器学习算法的发展，尤其是深度学习在图像识别领域的广泛使用，也引起了医学图像分析领域的注意。

深度学习在医学图像分析中的应用首先出现在研讨会和会议上，然后出现在期刊上，之后研究数量迅速增长。本文从深度学习在医学图像领域的应用和方法方面概述了其应用研究情况。最后，为将深度学习更好的应用于医学图像分析领域，对目前遇到的部分问题进行了讨论。本文的主要目的是：表明深度学习技术已经渗透到多个医学图像分析领域，讨论其在这些领域中的应用以及面临的各种问题。

在本文第2 节中，将主要介绍深度学习技术在医学图像分析领域的应用，包括图像分类、检测、分割等。第3 节讨论了深度学习在医学图像领域中需要解决的问题，对全文进行了总结，并对未来的研究进行了展望。

2 深度学习在医学影像中的应用概述

2.1 分类

2.1.1 图像/检查分类

深度学习在医学图像分析领域的一个重要应用就是图像或检查分类。在检查分类中，通常有一个或多个图像/检查作为输入，单个诊断结果作为输出，例如是否存在疾病。每个诊断检查都是一个样本，数据集的大小通常比计算机视觉中的小。因此，迁移学习在这类应用中的使用比较多。

迁移学习本质上是利用预先训练好的模型（通常是在自然图像上）来解决深度学习对大数据集的训练需求。目前主要有两种迁移学习的方式：

（1）使用预先训练好的模型进行特征提取；

（2）对预先训练好的模型进行微调。

目前这两种方式都得到了广泛的应用，但对于哪种方式可以给出最好的结果并没有很好的结论，2016年的两篇论文[1][2]给出了相互矛盾的结果。有研究[3]对Google 的Inception v3 医疗数据架构的预训练网络进行了微调，结果接近了医学专家的诊断水平。

在检查分类中常用的深度网络模型中，医学影像最初专注于无监督的预训练结构。当时这些技术主要应用在神经影像方面，近些年来开始更多地使用CNNs 来作为分类方法，这些方法的应用领域也非常广泛，从脑部MRI 到视网膜成像，从数字病理到肺部CT[4]都有所应用，但有些实验规模太小，无法得出一般性的结论。但是在自然图像上预训练的CNNs 得出了很好的结果，甚至接近了医学专家在某些领域中的诊断准确性。

2.1.2 目标或病变分类

目标分类通常侧重于将医学图像先前识别的一部分分类为两个或多个类别，例如胸部CT 中的结节分类[5]。对于这样的任务，病灶外观的局部信息和病灶位置的全局信息都是准确分类所必需的，这种结合在一般的深度学习中通常是比较困难的，有研究使用多流结构和多尺度的方式去解决这个问题。有研究使用了三个CNNs，每个CNNs 都以不同尺度的结节斑块作为输入，然后将三个CNNs的特征结果输出串联起来，形成最终的特征向量。还有一种相似的方法使用了多流CNNs 对皮肤损伤进行分类，每个流针对不同分辨率的图像。在医学影像的目标分类任务中，合并三维信息通常也是取得良好性能的必要条件，由于计算机视觉中的图像往往是二维自然图像，因此在这些场景中开发的模型不会直接利用三维信息。有研究使用了不同的方法去将3D 与特定的结构集成在一起，使用多流CNNs 将胸部CT 的目标分为结节或非结节，其从候选图像中提取九个不同方向的切片用于不同的流中，并经过全连接层获得最终的分类输出。相反，有论文利用MRI 的3D 特性，通过训练3D CNNs 来评估晚期胶质瘤患者的生存率。

与检查分类相比，目标分类较少使用预训练网络，主要是因为结果需要结合上下文信息或三维信息来输出。有研究已经找到了解决方案，将这些信息添加到深度网络中，并取得了良好的效果。

2.2 检测

2.2.1 器官标记定位

解剖定位已经成为分割任务或临床工作中治疗计划和流程中的重要预处理步骤。医学影像中的定位通常需要解析三维物体。为了用深度学习算法解决三维数据解析问题，有人提出了几种将三维空间看作二维平面的方法。研究通过使用常规CNNs 处理三组独立的2D MRI 切片（每个平面一个），确定了股骨远端表面的标记目标，标记的三维位置被定义为具有最高概率分类输出的三个二维切片的交点。这些研究都将定位任务转换为分类任务，因此可以利用一般的深度学习体系架构来进行学习。当然，也有研究试图修改网络的学习过程，来直接预测定位。

总之，利用CNNs 进行二维图像分类定位是目前最常用的标记方法。近些年的研究对此进行了扩展并取得了很好的效果，这也表明深度学习可以应用于更多的定位工作。

2.2.2 目标或病变检测

图像中病变部位的检测是诊断的关键部分，也是临床医生最为繁重的工作之一。通常，任务包括在整个图像空间中定位和识别小的病灶。计算机辅助检测系统有着悠久的研究传统，其目的是自动检测病变部分，提高检测精度，减少医学专家的判读时间。现有的深度学习目标检测系统大多仍采用CNNs 进行像素级的分类，然后进行某种形式的处理后以获得候选目标。

目标检测和目标分类在某些方面也存在着不同。因为每个像素都是分类的，所以在训练环境中，类平衡指标通常更多地向非目标类倾斜。通常大多数的非目标样本都很容易辨别，这妨碍了深度学习方法将注意力集中在有问题的目标样本上。有人提出了一种选择性数据采样方法，将错误分类的样本更多地反馈到网络中，以关注视网膜图像中可能存在病变的区域。

因此，深度学习在目标检测中的实际应用所面临的问题与目标分类中的问题非常相似。只有少数研究解决了直接对特定目标进行检测的问题。

2.3 图像分割

2.3.1 器官和子结构分割

图像分割任务通常被定义为识别组成目标对象的轮廓或内部的一组元素。分割是将深度学习应用于医学影像中最常见的问题，因此出现了很多的改进。在医学图像分析中，比较有名的是U-net，其特点是有相等数量的上采样和下采样组合。尽管之前已经提出了学习上采样，但是U-net 将它们与反向卷积和转置卷积之间的跳跃连接结合起来使用，这样整个图像可以由U-net 在一次前向传递中进行处理，从而直接生成分割图像。此外，也有研究通过向U-net输入来自同一体积的几个2D 标记切片，实现完整的3D 分割。

RNNs 最近在分割任务中也变得越来越流行。例如，2016年Andermatt 使用门控循环单元（GRU）的3D RNNs 分割脑部MRI数据集中的灰质和白质。

2.3.2 病变分割

在深度学习算法的应用中，病灶分割结合了目标检测、子结构分割的研究。通常需要全局和局部上下文来执行准确的分割。病变分割与目标检测共同面临的问题是数据不平衡问题，因为大多数图像都来自非病变类别。一些研究通过调整损失函数来解决这一问题，或者通过对阳性样本进行数据扩充来平衡数据集。

因此，病变分割被看作是使用了目标检测和子结构分割的一个混合方法，这两个领域的发展很可能会自然地扩展到病变分割，因为现有的研究也基本相似。

2.4 医学影像中的其他任务

2.4.1 将图像数据与报告结合

文本报告和医学图像数据的结合研究主要有两种：

（1）利用报告提高图像分类精度；

（2）从图像生成文本报告；后者主要受自于自然图像类似的研究启发。

有研究认为可以将报告中的语义描述添加为标注，该系统在图像数据集及其文本描述上进行训练，并在测试期间被学习预测语义类标签，最后发现语义信息提高了光学相干层析成像（OCT）图像中各种病理的分类精度。

鉴于PACS 系统在医学图像和相应的诊断报告方面提供了丰富的数据，这或许是未来深度学习研究的一个领域，同时，自然图像文字描述的进步也将及时应用于这些数据集。

3 结语

综上所述可以看出深度学习已经渗透到医学图像分析的各个方面，但依然面临着很多问题需要去解决。早期研究使用预训练的CNNs 进行特征提取，这些预先训练过的模型可以直接下载并应用于医学图像，这也在一定程度上促进了深度学习在医学领域的发展。虽然目前CNNs 已经成为医学图像分析的主要方法，但在提升算法性能方面，在算法本身之外的改进也会取得不错的效果，比如新的数据预处理或增强技术，但这并不是解决问题的唯一关键因素，另一个可以提升性能的方式是优化算法的参数，例如学习率。

将深度学习算法应用于医学图像分析领域面临的问题还有缺乏大型训练数据的问题，但这种说法也并不完全正确。目前很少有可以公开获取的大规模数字医学影像数据，这些医学数据是需要为特定的任务目的而获取的。因此，主要的问题不是医学图像数据本身的可用性，而是为这些医学图像获取相关的标签。传统的PACS 系统存储着描述放射医学的文本报告。以自动化的方式将这些报告转换为准确的标签所需要的文本挖掘方法本身就是一个重要的研究领域，深度学习如今也在其中得到广泛应用。考虑到利用PACS 或类似系统的文本报告来训练算法的复杂性，一般会求助于相关医学领域的专家对图像数据进行标注，但是标记大量的数据会花费很多时间，这是很困难的。因此，有效地从有限的医学图像数据中学习也是一个重要的研究领域。最后，尽管上述问题目前尚未得到很好的解决，但相信深度学习方法经过精心的设计，也是完全可以适合特定的医学图像分析任务的。