基于并行双域级联卷积网络的磁共振图像重建

袁针云 冉茂松 刘松

（四川大学计算机学院 四川省成都市 610065）

1 引言

磁共振成像(Magnetic Resonance Imaging, MRI)是一种利用核磁共振原理的广泛应用于临床的诊断技术，揭示人体内部结构和生理功能，对实质器官、心脏和血管有绝佳的成像效果，与其他检查方法相比具有多参数、高质量、高分辨率、非侵入等特点。但核磁共振成像技术在捕获快速变化的信号上表现乏力，成像时间长成为影响该技术发展的主要瓶颈，是学者立志突破的关键技术点。数据采集过程的空间有限和时间冗长，都让患者感到不适难以维持静态，造成更多的复杂的运动伪影。因此，缩短核磁共振成像时间至关重要。

改变硬件结构和基于压缩感知理论是两种传统的减少成像时间的方法。其中改变硬件结构主要使用基于多线圈的并行成像技术[1-2]，该技术利用包含信号源和空间位置信息的多线圈的敏感度信息加快梯度场编码。但多线圈受物理制造技术限制且成本昂贵，易刺激病患神经和干扰心脑电。

近几年来，深度学习在核磁共振重建上取得了良好的性能和突破性的进展，受到人们的广泛关注，是该领域的热门研究方法。基于深度学习的核磁共振图像重建可以概括为四大类，如图1。

本文的主要贡献如下：

（1）与大多数现有的单域的重建方法不同，我们提出了一种新的医学图像重建框架，使用并行双域数据来重建图像。

（2）我们的模型用特征提取网络捕获特征，并利用图像域和频域之间的相关性将不同域的特征进行融合。

（3）提出了一种新的融合模块，有效地提高了融合性能。

本文结构组织如下：第二节中，我们将详细描述所提出的方法。第三节介绍实验结果以及与其他方法的性能比较。最后，在第四节中进行总结。

2 方法

2.1 基于压缩感知的图像重建

图像重建或者恢复的正演模型是典型的求解逆问题，目的是从y 重建出x，如下：

其中x∈CN表示要重建的2D 目标图像，由个像素点构成。Fu∈CM×N(M≪N)表示欠采样的傅里叶编码矩阵。ε 表示获取产生的噪声。最后，y∈CM表示k 空间的欠采样测量。

基于传统的压缩感知的图像重建方法利用x 的先验信息把公式（1）中的不适应问题转化为无约束优化问题：

公式（2）的左边部分是数据保真项，右边部分是正则项。其中λ 表示正则参数，R 通常使用L0或者L1范数。

深度学习在许多领域都表现出了良好性能。基于深度学习的问题公式化表达如下：

图1：基于深度学习的核磁共振图像重建

2.2 提出的方法

网络整体的结构示意图如图2(a)所示，欠采样频域和欠采样图像域数据作为输入，重建图作为输出。整体分为五个阶段，其中阶段1~4 结构完全相同，作用于伪影减少和细节恢复，阶段5 在融合模块的输入和输出上略微不同。箭头表示数据流方向，双域数据进行并行处理。不同域所用模块结构相同，但不共享参数。

特征提取器的展开结构图，如图2(b)所示。特征提取器采用残差结构，由4 个卷积层、批量标准化层和激活层构成。卷积层的卷积核大小为3×3，步长为1，填充为1，通道从左往右依次为32，64，32，2，LeakyRelu 作为激活函数。由于核磁共振图像数据通常为复值，由实部和虚部两部分构成，所以输入通道数为2。输入和其经过特征提取器后的输出，图像尺寸和通道数均不变。

数据一致性层又称DC 层的公式如（4）所示，x 是上层特征提取器的输出，也是该数据一致性层的输入。其中，DC(x)表示数据一致性层的输出，λ=0.1 表示超参，y 表示K 空间的欠采样测量，F表示傅里叶变换，IF 表示傅里叶逆变换，最后M 表示采样掩码，是由01 构成的二维矩阵。DC 层公式的大体部分是相同的，主要区别在于x 为频域还是图像域。当x 为频域时，直接带入公式；当x为图像域时，需要先对x 做傅里叶变换再带入公式，以及最后做傅里叶逆变换。

图2：整体结构图

融合模块的展开结构图，如图2(c)所示。为了结构图简单明了，图中省略了傅里叶变换和傅里叶逆变换的操作。若融合模块的目标是融合后的输出是频域数据，则输入中的图像域数据要先经过傅里叶变换到频域。同理，若融合模块的目标是融合后的输出是图像域数据，则输入中的频域数据要先经过傅里叶逆变换到图像域。输入数据的通道数2 分别表示复值数据的实部和虚部，拼接后的双域数据通道数为4，再由基于通道注意力机制的模块进行处理，处理前后的数据尺寸和通道数均不变。通道注意力机制自适应选择权重，能让网络学习更为重要的部分，有利于双域数据融合成单域。之后再把对应的实部和虚部数据进行相加，相加后的实部和虚部进行拼接作为整个融合模块的输出。

为了提高重建质量，损失函数由三部分构成除了对应频域和图像域的均方误差（mean-square error, MSE）外，还有感知VGG 损失，见公式（7）。公式（5）为图像域的均方误差，其中xt表示原图的图像域数据，为重建图的图像域数据。公式（6）为频域的均方误差，其中yt和分别对应xt和的频域。

3 实验结果

3.1 数据集和训练设置

本文使用公共脑部数据集(https://sites.google.com/view/calgarycampinas-dataset/home/mr-reconstruction-challenge) 来训练和测试网络。预处理时对数据进行了归一化，数值范围0~255，图像尺寸255*255。网络的训练使用了来自25 个病人的4254 张2D 图片，而测试使用了来自10 个病人的1700 张2D 图片。

Adam 作为优化器，学习率为5e-5，提出的模型的所有实验基于PyTorch 框架，在拥有一张GPU（GTX2080）的Windows 操作系统上进行。

为了评估所提方法的性能，所提方法与其他三种先进的方法进行了对比实验。定量指标采用了峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structural SIMilarity ，SSIM）。U-Nets[14]是一种用于单线圈和多线圈的级联神经网络。ADMM-CSNet[15]是一种传统的基于压缩感知的迭代方法。FusionNet[16]是一种基于深度学习和压缩感知的双域方法。

3.2 对比实验

本节主要描述提出的方法和其他先进的方法进行对比实验的过程和结果，验证所提出的网络的视觉性能和定量指标，后文将提出的并行双域级联卷积网络简称为PDNet。实验中所用的M 采样掩码有两种采样模式（笛卡尔和径向）和两种采样率（10%和20%）。所有方法都有良好的去伪影效果，其中提出的PDNet 在细节之处更能保持特征、减少误差。

定量指标使用了峰值信噪比和结构相似性度量。与级联神经网络U-Nets 和传统的迭代方法ADMM-CSNet 相比，双域网络利用了频域和图像域之间的相关性对细节有更精准的重建效果。与FusionNet 同为双域数据处理的PDNet 采用了具有注意力机制的融合模块能有效提取感兴趣的部分，得到更好的融合效果。PDNet 在不同的采样策略中获得了最高的指标分数，这说明提出的方法具有良好的泛化能力。

4 总结

总而言之，本文提出了一种新的基于深度学习和压缩感知的并行双域级联卷积网络用于核磁共振快速重建。该网络并行处理频域和图像域的数据且交叉融合，采用具有注意力机制的融合模块。实验结果表明，该方法在不同的采样方法和采样率上能有效抑制伪影，降低复杂度，保留细节，具有更强的泛化能力。未来的工作将拓展更多的采样策略和对比方法，注重于动态的核磁共振图像重建。