基于旋转SURF算子的图像配准新方法

顾 漪，王保平

(西北工业大学 电子信息学院，西安 710129)

基于旋转SURF算子的图像配准新方法

顾 漪，王保平

(西北工业大学 电子信息学院，西安 710129)

针对SURF算法中快速Hessian矩阵行列式检测出的特征点的不连续现象，从而造成的旋转，模糊和光照变化适应性较差的不足，提出一种旋转SURF检测算子的图像配准新方法；该算法通过将SURF算法的积分图像盒子滤波模板逆时针旋转45度，引入一种可以检测角度旋转的滤波核提升检测算子对不同图像变换的匹配性能，保证新的检测算子与原算法较好的结合，同时利用改进的单纯形算法依据输入图像进行参数优化；仿真结果表明，该方法不仅保留了算法的速度优势，缩短了配准时间，而且在图像模糊变换，光照变换和JPEG压缩变换方面性能有明显的提升，此外对视角变换以及小尺度变换性能也有提高。

图像配准；SURF算法；特征点检测；改进单纯形法，旋转滤波模板

0 引言

图像和视频中目标的自动识别是一个新兴领域，提供实时的信息，能够帮助并最终代替人类的某些繁琐工作[1]。为了实现目标的自动识别，需要一种能够解决计算机视觉领域中类似物体方位，尺度，密度等变化的算法[2]。 图像配准是在两幅图像间找到一个合适的几何变换将对应的特征点进行匹配。它是图像融合，医学图像处理和3D图像重建的应用基础，并且在医学图像和遥感方面被广泛应用[3]。

在图像配准算法中，Lowe提出的SIFT(scale invariant feature transform)算法[4]是一种基于特征的图像配准方法。SURF (Speeded-Up Robust Features)算法[5]是Herbert Bay 在2006 年提出的一种基于特征的图像匹配算法，该算法是在SIFT算法的基础上改进而来的。 SURF和SIFT算法广泛应用于存在图像旋转，仿射变换，压缩变换，光照变换和尺度变换的场景[6]。SURF算法的运算速度比SIFT提高了3～5倍，准确度却并未降低。Luo和O. Gwon对SIFT ，PCA-SIFT以及SURF算法的研究表明尺度不变性方面SURF和SIFT算法性能相近，PCA-SIFT算法性能却不好。而对于旋转不变性，图像模糊和光照变化SURF算法的性能都是比较差的[7]。

针对SURF算法过于依赖快速Hessian矩阵行列式造成的旋转，模糊和光照变化适应性较差的缺陷，本文改进积分图像盒子滤波模板，提出一种可以检测角度旋转的快速Hessian检测滤波器，克服了快速Hessian矩阵行列式检测出的特征点的不连续性，并利用改进的单纯形算法(简称ISA)进行参数优化，使新算法对图像模糊，光照，JPEG压缩变换等方面的性能有明显提升，并利用Mikolajczyk et al.提出的评估改进滤波器的标准测试方法对结果进行测评[8]。

1 问题描述

1.1 surf算法简述

对于特征点检测，SURF算法应用的是Fast‐Hessian检测法，即计算图像所有像素的Hessian矩阵的行列式，极值点处就是图像特征点所在的位置。

给定图像中的某点x=(x,y)，在该点x处，尺度为σ的Hessian 矩阵H(x,σ)定义为：

(1)

其中，Lxx(x,σ)是高斯二阶微分在点x=(x,y)处与图像的卷积，Lxy(x,σ)和Lyy(x,σ)具有相似的含义。由于积分图像可以加速卷积计算，高斯滤波器需要离散化，因此Bay等人提出用方框滤波(Box Filter)近似代替二阶高斯滤波，用积分图像来加速卷积以提高计算速度[9]。

图1 盒子滤波近似代替二维高斯滤波

Lxx模板、Lyy模板、Lxy模板,这些微分算子可以用加权后的9×9盒状滤波器—Dxx模板、Dyy模板、Dxy模板替代。图1为Lyy模板、Lxy模板以及替代后的模板。

进一步求得近似Hessian矩阵的行列式:

det(Happrox)=DxxDyy-(wDxy)2

(2)

Hessian矩阵行列式的极值处即为特征点。式中，w为补偿参数,一般取为0.9[10]。

与SIFT相类似，SURF也将尺度空间划分成若干组(Octaves)。一个组代表了逐步放大的滤波模板对同一个输入图像进行滤波的一系列响应图像。每一组又有若干固定的层组成。算法使用3*3*3的模板在3维尺度空间进行非最大化抑制，最后进行插值精确。

为了保证特征矢量具有旋转不变性，需要对每一个特征点分配一个主要方向。以特征点为中心，以6s(s为特正点的尺度)为半径的圆形区域内，对图像进行Haar小波响应运算。主方向为最大的Haar响应累加值对应的方向 。

生成特征点的特征矢量需要计算图像的Haar小波响应。特征点的描述符为(4×4)×4=64维向量。

对于两个特征点描述子的相似性度量，采用欧式距离进行计算：

算法采用最小欧氏距离准则完成特征向量集的匹配，并引入RANSAC[11]算法对匹配点对进行筛选，从而提高变换模型参数估计的准确性。

1.2 SURF算法的不足

SURF算法依据快速Hessian矩阵行列式的值决定区域大小，以此来确定主方向，产生描述符。将SURF运用到一些基本的形状来检测它的性能表现，其中应用于圆形区域时快速Hessian盒子滤波模板的响应如图2所示。

图2 盒子滤波对于圆形区域的响应

从图中看出Dxx盒子滤波的响应在圆形的顶部和底部微弱，Dyy滤波在圆形左部和右部的响应比较微弱。因为快速Hessian行列式的值是Dxx和Dyy的响应值相乘，这两个滤波器任何一个的响应值很小或者为0就会使最终结果为0，特征点便不能被检测出来。当一副图像中的相似特征点经过了模糊，旋转或是其他一些常见的变换时，快速Hessian行列式的值是不同的。特征点的响应可能会降到阈值以下而不被检测出来,从而造成特征点检测的不连续性。

2 旋转SURF算法

2.1 旋转的SURF算子

本文提出一种改进的SURF算法，降低待检测特征对图像变换的敏感性。标准SURF算法的盒子滤波器不具有多方向性，会根据图像的静态线条更倾向于一些特定的方向。本文将盒子滤波器的核逆时针旋转45度来改进这种滤波器。

图3 旋转的SURF盒子滤波器

以Hessian矩阵为基础的检测算子在图像旋转了45度的奇数倍角度时呈现出最弱的可重复性[12]，所以当盒子滤波器旋转相同的角度时响应的结果对于图像旋转和其他变换会更加稳定。逆时针旋转45度的盒子滤波器可以和原来的滤波器一样与算法有效结合。

SURF算法的一个优点是它包含一个极快速的四阵列查找表来计算积分图像经盒子滤波的结果。当SURF滤波器旋转了45度后，每个滤波器的四阵列查找速度优势仍然可以保持。Lienhart 和Maydt对于像素偏移45度的矩形区域提出了一个四阵列索引表，进行积分图像的运算[13]。用来计算旋转盒子滤波区域像素和的四阵列索引如图4。

图4 旋转的区域像素和

适应于旋转滤波区域像素和的公式是：

A=L4+L1-L2-L3

(4)

A是计算积分图像前像素值的和，Ln是计算积分图像后指示区域的像素值。

2.2 ISA优化算法

SURF 算法参数主要有组数、层数和hessian 矩阵行列式阈值。其中组数和层数决定着盒子滤波模板的大小，即在哪些尺度空间中提取特征点；hessian 行列式阈值的大小表征图像中对应位置的特征强弱程度，SURF算法中利用hessian 行列式阈值作为判据来对特征点进行筛选。这3个主要参数的选取应结合图像的实际特点，综合考虑算法的有效性、稳定性和效率。

本文在常规单纯形法的基础上，对反射中心进行了改进，并添加了“顶点平移”策略，形成了ISA优化算法。减少迭代次数，快速收敛到最优解。以配准率作为反馈，依据输入图像的信息优化SURF 算法中的组数、层数，以及hessian 行列式的阈值。

ISA算法流程如图5所示。

(1)初始化。对n维非线性模型，给定初始顶点X0，其余顶点按式(5)计算，可构造边长相等的正规单纯形，且k=0。

X(i)=X(1)+a×[q,…,q,p(i),q…,q]T

(i=2,…,n+1)

(5)

其中：p(i)表示第i个元素为p，

a是单纯形边长；

(6)

(7)

(8)

(10)

其中，λ∈(0,0.2)是平移系数。

(4)进行单纯形反射、收缩、扩张、减小棱长的操作计算；

(5)如果收敛误差err大于迭代精度εe，k=k+1，返回(2)；否则，满足精度要求，迭代计算结束。

3 算例与分析

将本文算法和SURF算法运用于同一图片进行比较。分别测试以下不同的图像变换：仿射变换；图像模糊；光照变换；JPEG压缩；尺度旋转。仿真平台硬件环境为：CPU intel 奔腾四核 E6320,2.7GHz,4G内存的PC机；软件开发工具为Windows 7，MATLAB R2013b。

图5 改进的单纯形法流程图

Mikolajczyzk et al的检测方法提到单应性矩阵作为输入作用于特征点及描述符区域，来评价检测算子和描述符在不同图像变换中的结合情况。可重复性的定义是两个经过不同几何变换的区域的正确匹配点对数目，是评价检测算子性能的首要参数[14]。匹配准确率是衡量算法配准性能的另一个重要参数。配准率的定义为：

Ar=Nc/Nr

(11)

其中Nc为正确匹配的对数，Nr为两幅图中检测出的特征点总数较小的值[15]。

3.1 图像的不同变换

一幅图像不可预测的变换是相机或者传感器对于物体视角的变化。本文用砖墙的图片来检测改进算法对于视角变换的性能，图6中视角从20度到60度变化；模糊不变性是配准算法很重要的一个特性，因为图像的清晰程度很容易受到天气等因素的影响，本文用树的图片来测试模糊变换，从左到右图片模糊程度依次增加；一幅图片在不同天气，不同时间拍摄得到的明暗程度是不一样的，本文用车和建筑的图像来测试光照变换，从左到右光照依次变暗；图像变换中，Joint Photographic Experts Group (JPEG)压缩变化也是一种常见的变换，本文用建筑和树的图像来测试JPEG压缩变换，左边是原始图片，压缩率为20：1；本文用帆船的图像来测试带旋转的尺度变换。

图6 图像的不同变换

3.2 最近邻距离比测试方法(NNDR)

首先测试改进算法的性能，用基本的匹配度量标准来评价匹配是否精确。创建一个MATLAB程序，从SURF算法所有的输出中重构IPTS的数据结构，利用NNDR(nearest neighbor distance ratio)匹配方法和欧式距离的标准对以上五组图像进行测试。如果NNDR比IPTS的比值接近1，那么说明两幅图中所有可能的特征点都被检测出来了。测试结果如图7所示。

图7 NNDR/Ipts匹配效果图

图中显示的测试结果如下：砖墙图像的比例是26:40，树的图像是26:30，车和建筑图像是21:25，建筑和树图像是31:35，船的图像是11:15。所有的4个检测算子都符合一样的匹配模式，随机结合的方法在评估中总是性能最优。用NNDR比所有IPTS的比率进行比较，测试结果说明改进的算法比原算法计算出更多匹配对，克服了特征点检测的不连续性。改进的检测算子对于某些测试有更高的特征点和描述符匹配率。

3.3 不同变换的配准

(1)分别测试改进的算子对于图像视角变换、模糊变换、光照变换以及JPEG压缩变换的配准性能，结果如图8～11所示。表1和表2是SURF算法、SURF和RANSAC相结合的算法以及本文算法的性能对比。

结果显示在视角变换为20度到40度时，旋转算子的配准率较高。优化后的算法配准率达到0.95以上。对于不同程度的图像模糊，旋转算子的配准率都是最高的。由图中看出，旋转的算子对于光照和JPEG压缩变换配准性能均比SURF算子好。

表1 算法性能比较(1)

表2 算法性能比较(2)

从表1和表2可以看出，本文提出的优化的旋转SURF算法在保证高配准率的前提下，缩短了平均配准时间。在图像视角、模糊、光照以及JPEG压缩变换的配准比较实验中，本文算法取得了优良的配准性能。

(2)用帆船的图像图12来测试带旋转的尺度变换。

图12 旋转变换的配准

如图13所示，对于小的尺度变换旋转的算子有更好的性能。当尺度变换程度大于1.4时，SURF算子的性能更好。总体来说，对于大的尺度和旋转变换，SURF算子的性能更好。

图13 尺度变换配准率

4 结论

SURF算法过于依赖Hessian矩阵行列式，从而造成的特征点检测的不连续性是对图像旋转和其他变换鲁棒性低的原因。本文针对SURF算法的不足，提出一种旋转SURF检测算子的图像配准新方法，通过将SURF算法中盒子滤波模板逆时针旋转45度提升检测算子的匹配性能，同时利用改进的单纯形算法进行参数优化。本文测试了改进的检测算子在不同图像变换中的性能，实验表明，新的配准方法克服了特征点检测的不连续性，并且在图像模糊变换，光照变换和JPEG压缩变换方面配准性能有明显的提升，另外对于视角变换以及小的尺度变换性能也有一定改进。

[1] 魏伟波. 基于图像的目标自动识别与跟踪技术研究[D]. 南京：南京理工大学,2006.

[2] 马玉真,胡 亮,方志强,等. 计算机视觉检测技术的发展及应用研究[J]. 济南大学学报(自然科学版),2004,03:222-227.

[3] 曾 琦,刘 浏,李建勋. Image registration method based on improved Harris corner detector [J]. Chinese Optics Letters,2010(6): 573-576.

[4] 杨世沛,陈 杰,周 莉,等. 一种基于SIFT的图像特征匹配方法[J]. 电子测量技术,2014,37(6):50-53.

[5] Herbert B, Andreas E,Tinne T, et al. Speeded up robust features(SURF)[J]. Computer Vision and Image Under standing,2008,110(3):346-359.

[6] 许佳佳,张 叶,张 赫. 基于改进Harris-SIFT算子的快速图像配准算法[J]. 电子测量与仪器学报,2015(1):48-54.

[7] Juan L, Gwon O. A comparison of SIFT, PCA-SIFT and SURF[J]. Image Processing, 2009,3(4):143-152.

[8] Mikolajczyk K, Tuytelaars T, Schmid C, et al. A comparison of affine region detectors[J]. Computer Vision, 2005,65(1/2):43-72.

[9] 张瑞娟，张建奇，杨 翠. 基于SURF 的图像配准方法研究[J]. 红外与激光工程,2009, 38(1): 160 -165.

[10] 范有臣,李迎春,都 琳. 基于SURF算法的微小位移测量[J]. 激光与红外，2012，42(6): 699 -704.

[11] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM, 1981, 24(6): 381-395.

[12] Bay H. From wide-baseline point and line correspondence to 3D [D]. Switzerland: Technische Hochschule Zurich ,2006:1-7.

[13] Lienhart R, Maydt J. An extended set of Haar-like features for rapid object detection[A]. IEEE Proc on Image Processing[C]. 2002:900-903.

[14] Mikolajczyk K, Schmid C. A performance evaluation of local descriptor[J]. IEEE Transactions on Patter Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[15] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. Computer Vision, 2004,60(2):91-110.

A New Image Registration Algorithm Based on Rotated SURF

Gu Yi , Wang Baoping

(College of Electronics and Information, Northwestern Polytechnical University, Xi’an 710129,China)

Weaknesses in the Fast Hessian detector utilized by the SURF algorithm make it less robust to image rotation, image blurring, illumination change and other transformations. In order to solve this problem, an alternative to the SURF detector is proposed which utilizes filters that are rotated 45 degrees counter-clockwise. This new detector is robust to various image transformation and has the ability to match the original SURF algorithm. The new algorithm is also improved by the simplex algorithm (ISA) which can optimize parameters based on input image. Performance testing shows that the new method retains the speed advantage designed into the original SURF algorithm and outperforms the regular SURF detector when subject to image blurring,illumination changes and JPEG compression. The new method outperforms regular SURF slightly when subjected to affine changes and small image scale transformations.

image registration; SURF algorithm; feature detection; improved simplex algorithm; rotated filter kernels

2017-01-04；

2017-02-06。

国家自然科学基金面上项目(51476135)。

顾 漪(1993-)，女，陕西汉中人，硕士研究生，主要从事数字图像处理方向的研究。

王保平(1964-)，男，陕西西安人，教授，硕士研究生导师，主要从事向包括雷达成像、图像处理等方向的研究。

1671-4598(2017)07-0197-05

10.16526/j.cnki.11-4762/tp.2017.07.049

TN911.73

A