基于改进SIFT算法的矿山井筒视频图像实时配准*

邢远秀 江成琳 柯伟兵

(1.冶金工业过程系统科学湖北省重点实验室;2.武汉大学计算机学院)

矿山井筒设施的检查目前主要依靠人工站在罐笼顶部来完成［1］。随着图像处理技术的发展，矿山井筒视频场景实时拼接和故障点智能检测引起了重视。而图像配准是实现矿山井筒场景重建、分析以及故障检测的基础。

在图像配准方面，Lower于2004年总结完善的SIFT(scale invariant feature transform)特征提取匹配算法［2］目前取得了巨大的成功，广泛应用于遥感影像［3-4］和医学影像［5-7］等图像配准和目标识别。Mikolajczyk［8］等对多种具有代表性的描述子进行试验证明SIFT描述子在旋转、缩放、视点变化等方面表现性能最佳。

但是目前SIFT算法还没有应用到矿山井筒视频图像配准，主要原因是SIFT算法复杂度高，不同尺度下的特征点提取及使用128维的描述子进行匹配使得算法满足不了井筒图像实时处理要求。本研究对SIFT算法的特征点的提取、描述子及相似性度量等方面进行了改进，在满足实时性要求的同时保证图像匹配的精度。

1 SIFT算法匹配原理

SIFT算法是一种基于特征的配准方法，算法主要包括特征点的提取与精确定位，描述子的生成及相似性度量匹配，算法对尺度、旋转和光照等方面具有不变性。

1.1 特征点的提取与精确定位

利用高斯核函数对图像进行尺度变换，计算图像对应于不同尺度空间的一系列高斯差分图像，构造DoG金字塔。DoG算子定义如下:

式中，

σ决定了高斯金字塔每一层的尺度。在该尺度空间中进行局部极值的检测，使得每个像素点和同一层的相邻8个像素点以及上层和下层的18个相邻像素点共26个相邻点进行比较确定是否为极值点。利用DoG算子在尺度空间的Taylor展开式，精确定位关键点的位置和尺度，同时去除低对比度的关键点和边缘响应点。

1.2 描述子构造与特征匹配

为使提取的特征点具有缩放和旋转不变性，利用每个关键点周围邻域的梯度模值和方向进行特征描述。首先确定每个关键点主方向，将坐标轴旋转为关键点的方向，以确保旋转不变性。根据关键点的位置、所处尺度和方向，以特征点为中心点，在周围选取一个大小为16×16的区域，再将所选区域平均分为4个大小均为4×4的小区域，计算每个区域的梯度直方图。直方图包含有8个梯度方向，归一化处理后形成4×4×8=128维的特征向量，即SIFT特征描述符。

SIFT算法采用最邻近距离算法(NN)进行特征匹配，根据特征点的最近邻特征点欧式距离与次邻域特征点欧氏距离的比值对特征点进行匹配。利用RANSAC算法消除错误匹配，保证算法的鲁棒性。

2 SIFT算法优化

2.1 尺度空间的优化

2.1.1 算法思路

SIFT算法复杂度较高，特别是构建高斯金字塔提取特征与精确定位。高斯金字塔的组数为

其中M和N分别是图像的行列像素数，每组内为5层。尺度空间的构造耗时较多，大约占算法将近一半计算时间［4］，对算法的时效影响很大。SIFT算法尽可能检测到所有尺度上的特征点，检测的尺度空间越多，检测到的特征点也越多。但是SIFT算法检测的特征点数量过多，并且检测到很多无用的特征点，使得算法在匹配时计算量大。

井筒视频图像在拍摄过程中对焦距保持固定不变，视频帧之间尺度变化较小，帧间重叠部分较高。适当减少尺度空间变换，减少特征点提取数量，并不会对匹配产生影响。本研究拟采取减少高斯金字塔的组数与组内层数的方法，以减少算法的复杂性，缩短计算时间。

Lower建议每组有S层来提取特征点，则DoG金字塔需要S+3层，针对于一幅350×190的井筒图像，传统SIFT算法的DoG金字塔需要6组，每组5层。实验表明，DoG金字塔采用3组，把原始图像放大1倍作为第1组，原始图像作为第2组，将原始图像缩小1倍作为第3组。每组需要3层，只在每组中间一层上提取特征点可获得较好的实验结果。

2.1.2 实验及结果分析

将改进后的SIFT算法与传统的SIFT算法进行比较。算法运行在2.20 GHz的CPU，2.00 GB内存环境中。本研究对多幅井筒图像的配准进行试验，结果基本一致，由于篇幅限制，实验仅列出两幅间隔9帧的检测滑轮及井架的视频帧图像进行比较。传统SIFT算法采用6组3层的结构进行特征点的提取匹配，改进SIFT算法采用3组1层结构提取特征点，本实验中描述子均采用SIFT算法提出的128维描述子，采用欧式距离算法作为相似性度量，剔除错误匹配后的实验结果如图1所示

图1 尺度对匹配的影响

表1列出了不同尺度对井筒视频图像特征提取与匹配的影响。图像1为视频帧前一帧图像，图像2为视频帧后一帧图像。其中匹配成功率为正确匹配数除以总的匹配数。

表1 不同尺度下的特征提取

SIFT算法提取的特征点数目分别为350个和320个，比同等条件下3组1层尺度空间的146个和141个多了将近2倍，但是SIFT提取特征点的时间为929 ms，比3组1层尺度空间却多了将近4倍。不同尺度下的特征提取个数和时间如表1所示，随着尺度空间中组数和层数减少，提取的特征点和时间都在减少，但是正确匹配率却相对稳定。这是因为SIFT算法本身提取了大量的特征点，其中许多特征点都是无用的特征点，采用3组1层尺度空间虽然使得特征点减少，但是并不影响匹配精度。通过对多组数据进行试验，结果基本一致。

2.2 局部描述子和相似性度量的改进

2.2.1 局部描述子

SIFT生成的128维描述子在匹配过程中计算量过大，本研究对描述子进行降维，在不影响匹配精度的情况下，减少算法运行时间。以特征点为中心做半径的圆邻域，同时将以4个同心圆对圆邻域进行划分，对圆做4等分的扇形，形成9个子区域，使得算法具有旋转不变性。

SIFT算法构造特征描述子时计算块内梯度直方图，在每个块内计算8方向的梯度累加值，形成一个8维种子点。本研究在构造描述子时，考虑到离种子点越近的点对描述子贡献越大，反之离描述子越远的点对描述子贡献越小，因此考虑在计算方向直方图时，对每个点的梯度加上权重:

传统SIFT算法在形成128维描述子时首先计算关键点主方向，将做标注旋转到主方向使得算法具有旋转不变性。由于井筒图像在采集过程中，相邻帧之间只发生了垂直位移变化和较小的尺度变化，没有旋转变化，因此在形成描述子之前不需要计算关键点的主方向，降低了算法的复杂度，并且改进后的SIFT算法将特征描述符从128维降低到72维，可进一步降低算法计算时间。

2.2.2 相似性度量的优化

实验表明当描述子维数由128维降低为72维时，则出现误匹配的概率增加。本研究采用Bray Curtis距离将特征聚类量化代替SIFT算法中的欧式距离作为2幅图像中关键点的相似性判定度量将提高算法的配准精度。SIFT算法中欧式距离定义为

2.2.3 实验及结果分析

将降维后的描述子结合Bray Curtis距离和传统SIFT算法进行比较，实验结果如图2所示。

欧氏距离是一种基于距离测度的聚类分析，不考虑对象中每个变量在聚类过程中体现作用的不同，而是将样品的不同属性(即各指标或变量)之间的差别等同看待，用这样计算的距离来表示2个对象的相似度并不确切，本研究采用Bray Curtis距离函数，针对在图像的像素点提取时，各点对中心点所起的作用大小不同，Bray Curtis根据每个变量在聚类过程中的权重不同，所赋予的权值也不同，该方法不仅在一定程度上克服了欧氏距离的缺陷，而且能够提高聚类质量，优化聚类性能。Bray Curtis距离定义如下:

图2 井筒图像配准结果

表2为对应图2的3种算法匹配结果。原始SIFT算法匹配数量最多，匹配的对数为133对，正确匹配对数为139对，匹配算法用时696 ms。当使用3组1层金字塔提取特征点，并采用新的72维描述子，利用欧式距离作为相似性度量时的配对数降为61对，正确匹配数为58对，正确匹配率最低，为95.1%，但是算法匹配用时仅为132 ms，是SIFT算法的20%以下。在此基础上使用Bray Curtis距离作为相似性度量，正确匹配率有了很大提高，达到了98.1%。由此可见，减少特征提取的尺度空间，使用新的72维描述子结合Bray Curtis距离作为相似性度量能够在保持算法匹配精度和鲁棒性的情况下，大大提高配准算法的执行效率。

表2 3种算法匹配结果比较

3 结论

实验结果表明，改进的SIFT算法比传统的SIFT算法具有更高的匹配效率和的匹配精度，为后继矿山井筒实时检测、故障识别打下基础。

［1］ 章启忠，等.矿山井筒安全隐患监测系统设计与实现［J］.金属矿山，2009(6):130-131.

［2］ Lowe DG.Distinctiveimage features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［3］ El Rube I A，et al.Image registration based on multiscale SIFT for remote sensing images［C］∥Proceedings of the Third International Conference on Signal Processing and Communication Systems．O-maha:ICSPCS，2009:1-5.

［4］ 李芳芳，肖本林，贾永红，等.SIFT算法优化及其应用于遥感影像自动配准［J］.武汉大学学报:信息科学版，2009，34(10):1245-1249.

［5］ 史 磊，李平湘，杨 杰.利用SIFT与粗差探测进行SAR影像配准［J］.武汉大学学报:信息科学版，2010，35(11):1296-1299.

［6］ 柯 杉，王博亮，黄晓阳.一种改进的SIFT算法及其在医学图像配准中的应用［J］.厦门大学学报:自然科学版，2010，49(3):354-358.

［7］ 陈富龙，张 红，王 超.高分辨率SAR影像同名点自动匹配技术［J］.中国图象图形学报，2006，11(9):1276-1281.

［8］ Mikolajc zyk K，Schmid C.A performance Evaluation of Local Descriptors［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2005，27(10):1615-1630.