基于特征点互信息的医学图像配准*

时间：2024-05-04

李敏刘俊

（武汉科技大学计算机科学与技术学院武汉 430065）

1 引言

随着科技的不断发展，医学图像在临床医学上有着越来越多的应用，一张图像无法为医生提供完整全面的信息，然而将多张医学图像进行融合后，将不同的成像信息体现在一幅图像上，这样不仅可以为医生节约时间，更可以为医生提供更加全面的信息。在图像融合之前，图像配准就是其中最为关键的一步。可以说医学图像配准［2］技术就是图像融合的基础和关键。

在20 世纪80 年代，就出现了医学图像配准课题的研究。此课题一经提出就备受关注，逐渐变成了图像处理技术的一个热门领域。由于其关注度，学者们提出了许许多多的图像配准算法，通常可以将图像配准方法分为两类：基于图像特征信息的配准算法［3］和基于灰度信息的配准算法。基于图像特征信息的配准算法是对图像中具有稳定性和重复性的图像特征进进行分析和匹配。基于灰度信息的配准算法［4］是充分利用图像的灰度信息来对图像进行配准。

每一种图像配准方法［13］都受到一些因素的影响，其中基于互信息的配准方法是应用最为广泛的，本文根据互信息在医学图像配准中的优缺点，采用ReNet的方法提取图像边缘，构建边缘特征点互信息能量函数，通过改进Powell算法对配准进行优化。这样不仅可以提高配准的准确率，减少配准时间，还可以减少噪声对配准的影响。

2 特征点互信息配准方法

2.1 图像边缘提取

2.1.1 图像预处理

首先输入图像，使用K-SVD 方法得到冗余字典D，并通过在原有每个元素中减去元素的平均值来获取FoE 的自适应滤波器，之后通过使用奇异值分解（SVD）学习与当前图像最相关的FoE 自适应滤波器。其中K-SVD的表达式如下：

其中，Y表示样本集，D表示冗余字典，ε表示重构误差所允许的最大值。

奇异值分解（Singular Value Decomposition，SVD）是线性代数中一种重要的矩阵分析，通过SVD对数据进行处理，可以用小的多的数据集来表示原有的数据集。就是将实际原有数据中的噪声和冗余信息去除，以达到优化数据、提高结果的目的。SVD的分解公式表达如下：

由于U对前一个原子的投影值较大，对后一个原子的投影值较小，所以采用U后面一个原子作为FoE 的自适应滤波器。将基于正则化的框架应用到恢复图像之中来恢复图像，表达式如下：

其中，Ri表示样本矩阵；JK-SVD=[]J1,…,Jk表示每一列Ji对应的自适应滤波器。

2.1.2 空间递归层

空间递归层用来接收图像大小为H×W 的经过增强的图像或上一层的特征图像，其中H和W 分别表示图像的高度和宽度。然后将图像分割为大小为Wp×hp的非重叠的图像集。准确地说，使用ReNet层接收2D映射作为输入，沿相反方向扫描网络，扫描方式如下所示：

在彼此之上，通过叠加多层组来构建一个简单的深层的ReNet，其中第一层组用来接收原始图像像素信息作为输入，而最后一个层组通过Softmax层来产生密集的预测，但是其产生的预测结果精度较低。Softmax的表达式如下：

其中，Vi表示分类器前级输出单位的输出；i 表示类别索引；C表示总的类别个数；Si表示当前元素的指数与所有元素指数的比值。

2.1.3 空间递归层

首先我们采用VGG-16 网络［10］作为全卷积网络的基线，我们仅使用了VGG-16 网络的前几层。将上一节讨论为ReNet 层［6］插入到所选的VGG-16网络的全卷积网络的顶层，然后将该层接着一个卷积层，并通过转置卷积或分数步长卷积进行上采样。

由于从多个层次组合特征会导致更具区分性特征，因此我们将VGG-16 的不同选择层的特征映射连接起来，在VGG-16 中系统地从每个层选择特征。由于最终的组合可能由一个或两个特征映射所支配，并且特征映射的大小也会有很大的波动，因此我们在连接之前进一步对特征映射进行规范化。总的边缘特征结构提取的结构体系如图1 所示。

图1 结构体系图

2.2 特征点互信息熵

传统基于互信息的医学图像配准方法中，互信息熵的计算量相对较大。为了在尽量不减少图像间特征信息的前提下，减少互信息熵［16］得到计算量，提高配准效率，可以将相同特征点集的互信息熵代替整张图像的互信息作为配准的目标函数。假设从参考图像F 和浮动图像M 中分别提取出的特征点集合表示为

其中，Pij表示图像特征点集的联合概率，也就是说同时从X中选取Xi和从Y中选取Yi的概率。

2.3 配准优化策略

为了解决互信息在配准过程中计算量较大，减少配准所用时间的问题，本节选用一种改进的Powell 算法作为配准测度函数的优化策略，其优化算法的执行过程如下。

首先计算配准图像初始位置V0 的互信息值F0。由初始位置向左和向右平移一个像素点，分别计算其互信息值，选取互信息增加的一侧作为寻优方向不断搜索，直至互信息值开始减小。若互信息值开始减少，则跳转回前一个点，在垂直方向按相同方法开始所需极值点。水平和垂直方向搜寻出最优点后，对旋转方向求取极值点。计算［-180，180］范围内每个单元处的互信息值，选取其中的最大值，作为旋转方向的极值点，将最终得到的点作为下一个Powell算法的初始值。

3 实验结果与分析

3.1 实验环境与数据

3.1.1 实验环境

本组实验使用的硬件配准为I7 8700K处理器，GPU 型号为NVIDA GeForce GTX 1080TI，显存11G，操作系统使用的是Windows 7，软件使用的是Matlab 2016a。

3.1.2 实验数据

实验分别使用了三组数据集，第一组为美国一实验室的血管超声图像，第二组为brain web 的脑部医学图像，第三组为临床使用的肺部CT图像。

3.2 边缘提取实验

图像边缘时指其周围像素灰度有阶跃变化或屋顶状变化的像素集合。常见的边缘提取方法有Canny 算子、Sobel算子、Prewitt 算子、整体嵌套边缘检测（Holistically-Nested Edge Detection，HED）、CASENet等。本文使用肺部CT 图像对边缘提取方法进行对比实验，实验结果如图2所示。

图2 边缘提取实验

Sobel 算子对灰度渐变噪声的图像检测效果较好，但是对复杂噪声的图像处理效果不理想；Canny算子［11］相对于其他传统边缘检测算子效果最佳，但是其对噪声敏感，容易将噪声误判为边界；Prewitt算子对噪声较多、灰度渐变的图像效果较好，但是其存在检测出来的边缘较粗，人为选取阈值极易造成边缘点误判的缺点；HED 和CASENet 都是基于深度学习的图像边缘轮廓提取方法，在往常的图像边缘提取中都取得较好的效果，但是由于医学图像中存在这数据据数量较少的缘故，导致最终的边缘检测效果不佳；而本节中利用特定的卷积神经网络，对图像进行边缘提取，从图2 中可以看出，基于ReNet的边缘提取方法效果最佳。

为了更加客观地评价［15］边缘检测提取的效果，我们这里用到定位误差来对其进行检测。对整张图象进行扫描，当遇到边缘点，判断检测图像中是否有对应边缘点。最终计算出整张图像的定位误差，定位误差表达式如下所示：

其中，Pmis表示边缘图像漏检率，Perr表示误检率，Na表示图像的总像素点数，Nmis表示图像中没有被标记的漏检点个数，Nerr表示误检的边缘点个数。

表1 客观地表示出边缘检测提取的效果评测。从漏检率上看Canny 算子最低；从误检率上看Prewitt算子与本文中所使用的方法最小，可以说明本文所使用方法能较为准确地判断边缘点；从定位误差上来看本文中所使用的基于ReNet 的边缘提取方法的定位误差最小，可以说明本文所使用的方法效果较好。

表1 边缘检测误差判断指标

3.3 配准实验结果与分析

3.3.1 噪声干扰实验

PC-SIFT（phase congruency based on scale invitation feature transform）是一种将相位一致性代替原先SIFT中［7］的梯度用于形象结构描述的方法，它在特征点提取上有着较好的表现。首先比较PC-SIFT算法［9］与本文所用算法在特征提取方面的鲁棒性，在特征提取之前，先对图像进行模拟噪声，在对比在不同噪声［8］程度下两种方法的提取结果，之后再对配准结果进行分析。

图3 为将图像中分别加入0%、1%、3%、5%和7%的噪声后特征点提取的个数，是对20 组加入噪声的图像进行特征提取实验后，统计其特征点的平均值。从图像中可以看出PC-SIF T 方法［14］虽然在一些情况下特征点提取的数量较多，但是其特征点提取受噪声影响波动较大；而本文中所使用的方法，在加入不同噪声的情况下，特征点提取的数量大致在1200 左右。总地来说本文所使用的方法在受到噪声影响的情况下特征点数量波动较小，所以本文所使用方法在特征提取方面鲁棒性更强。

图3 噪声干扰实验

3.3.2 准确率实验

为了验证本文使用的医学图像配准方法的准确性，使用brain web 的脑部医学图像进行实验，分别将本文使用的方法与基于传统互信息配准方法、SIFT 算法、Active Demons 算法［1］进行对比试验，实验结果如图4所示。

图4 脑部配准对比试验

从图4 中可以直观看出，基于传统互信息配准方法、SIFT 算法、Active Demons 算法［5］和本文使用的方法都可以较好地对脑部图像进行配准。表2分别使用互信息、相关系数和算法运行时间对脑部图像配准结果进行定量分析。从表中可以看出，本文所使用的方法在MI、CC的值都相对较大，且运行时间上本文使用方法略低于其他方法。总地来说，本文使用的方法在提升配准精度的前提下，缩短了配准所需的时间。

表2 脑部图像配准对比实验

3.3.2 非刚性配准

使用超声血管图像进行配准与其他图像不同，针对超声血管图像进行配准仅需要对病灶区域进行配准即可，若使用整张图像进行配准不仅会降低配准的准确率还会增加配准所需的时间。现将基于传统互信息配准方法、Active Demons 算法［12］、分割后使用结构互信息配准方法与本文所使用方法使用在超声血管图像配准上，配准结果如图5 所示。

图5 血管配准对比试验

从图5 可以看出，由于传统互信息配准方法和Active Demons 算法都是针对整张图像进行配准，所以导致整张图像发生了形变，造成最终配准效果较差。而使用对病灶区域进行分割后在结构互信息配准的方法与本文使用的方法从直观的角度看都可以较好地对血管图像进行配准。表3 对这两种方法进行定量分析，从互信息和相关系数上看，分割后结构互信息的配准准确率略高于本文使用的方法，但从配准所需时间上看，本文所使用方法的配准效率更高。

表3 超声血管图像配准评价指标