基于特征点匹配的图像配准研究

陶静 李逸琳 霍艺文 徐武

摘  要： 立体显示技术中立体图像对虚拟场景的构建至关重要，现有的立体图像配准技术可能导致图像扭曲、变形。结合SURF算法和RANSAC算法，根据SURF算法对图像进行特征点检测;计算各特征点的Haar小波响应系数以确定特征点主方向和特征矢量;通过特征矢量的欧氏距离来判断特征点的匹配性，找出相邻最近的匹配点;最后利用一种改进的RANSAC算法剔除错误的匹配点。实验结果表明，基于SURF算法和改进的RANSAC算法的图像配准方法提高了特征点匹配度和精确度，能有效改善图像配准的变形问题。

关键词： 图像配准; 特征点匹配; 立体显示; 特征点检测; 算法改进; 错误匹配点剔除

中图分类号： TN911.73?34; TP391.9                   文献标识码： A                文章编号： 1004?373X（2019）20?0090?04

Research on image registration based on feature point matching

TAO Jing， LI Yilin， HUO Yiwen， XU Wu

（College of Electrical and Information Engineering， Yunnan Minzu University， Kunming 650500， China）

Abstract： The existing stereo image registration technology may lead to image distortion and deformation. The feature points of images are detected in combination with SURF algorithm and RANSAC algorithm. Haar wavelet response coefficients of each feature point are calculated to ascertain the main direction and feature vector of feature points. The matching performance of feature points is judged by Euclidean distance of feature vectors， and the nearest matching points are found. An improved RANSAC algorithm is used to eliminate the wrong matching points. The experimental results show that the image registration method based on SURF algorithm and the improved RANSAC algorithm can improve the matching degree and accuracy of feature points， and effectively improve the deformation in image registration.

Keywords： image registration; feature point matching; stereo display; feature point detection; algorithm improvement; wrong matching point removing

0  引  言

立體显示技术可以让观看者看到物体的各个方面，目前的自由立体显示主要是基于多视点的立体显示[1]，需要采集多个视点信息并做相应的处理，将处理后的图像合成符合多视点立体显示的图像。但在图像的采集和显示上存在着水平、垂直视差，颜色失真等问题 [2]，这些问题会导致观看者看到的图像扭曲、变形。因此对图像的处理就显得格外重要。

图像配准技术是实现图像融合关键的步骤。图像配准中特征点提取及匹配方法有很多，如Harris算法、Moravec算法、SIFT算法等。SIFT算法提取的特征点比较稳定，适用于局部目标匹配与识别，但其算法计算量大，耗时多，运算速度慢 [3]。SURF算法是在SIFT的基础上进行优化的算法，计算量小，运算速度快，提取特征点几乎与SIFT算法相同[4]。对采集的特征点进行匹配时会出现错误的匹配对，目前RANSAC算法广泛应用于图像配准中剔除错误匹配点，提高图像匹配的精度。

本文结合SURF算法和改进后的RANSAC算法，对采集的图像进行分析配准。用SURF算法提取图像的特征点，用RANSAC算法剔除错误的匹配特征点，确保特征点匹配准确性，为后续的立体图像显示增加精确度。

1  基于SURF算法的特征点选取匹配

1.1  特征点的检测

SURF算法使用积分图像生成特征矢量。由于特征点检测的中间结果是积分图像[5]，所以SUFR 算法可以直接使用中间结果生成特征矢量，避免了对图像的重复运算，相比 SIFT 算法要快很多。下面为SURF算法选取特征点的详细步骤。

图1  盒式滤波器的近似模型

1.2  特征点主方向

为了保证算法的旋转不变性，需要确定特征点的主方向。构造以特征点为中心，半径为6ε的扇形区域，求出区域内各点的Haar小波响应系数，统计加权响应值，越靠近特征点的响应值越大，越远离特征点的响应值越小;对60°扇形区域特征点再做一次Haar小波响应并求和，旋转一周后对求和所得值最大的方向为主方向[7]。

1.3  特征矢量

以特征点为中心，构造一个正方形区域，其边长为20ε，方向为主方向[8]。把该区域分成4×4个子区域，每个子区域内计算Haar小波响应，对每一个子域分别计算[dx，dx，dy，dy]，则每个子区域可以表示为：

把全部子区域的矢量[V]连在一起就得到一个64维的特征矢量[S=V1，V2，…，Vi]。

1.4  特征点匹配

得到特征点后，需要进行特征匹配，即在空间中找到最相似的特征向量。本文采用特征矢量的欧氏距离[d]来判断特征点的匹配程度。找到与基准图像中特征点欧氏距离最近的前两个特征点，计算最近的距离[dfirst]除以次近的距离[dlater]的比值，即：

若K小于某个比例阈值，则匹配成功。

2  基于RANSAC算法的特征点匹配

特征点提取匹配后，可能会出现特征点匹配错误的情况，因此选择RANSAC算法对匹配错误的特征点进行剔除。假设所有特征点中包含局内点和局外点，其中局内点近似被直线通过，局外点远离于直线[9]。利用RANSAC算法得到一个仅由局内点计算的矩阵模型，用矩阵模型测试特征点，若满足的特征点个数最多，则该矩阵全局最优。

假设局内点至少有4组匹配点对，从特征点中随机抽出4组不共线的特征点对作为样本，那么其变换关系可以表示为：

3  RANSAC算法的改进

3.1  RANSAC算法的效率改进

本文随机选取m个特征点作为样本，假设样本中内点所占的比例为[σ]，那么M次抽样后至少有一次抽取的样本中全为内点的概率为：

图2  RANSAC算法改进步骤

3.2  RANSAC算法的匹配錯误改进

假设[A1，B1]和[A2]，[B2]是A，B两幅图像中两组匹配正确的特征点对，则[A1，B1]的斜率应近似等于[A2，B2]的斜率。那么可以推论：[Ai]与所在图像中其他特征点[Aj]的斜率近似等于[Bi]与所在图像中其他特征点[Bj]的斜率。[Ai]与待匹配图像中准确匹配特征点[Bi]的平均斜率为：

4  实验结果分析

本文在Matlab实验平台上进行测试，选用两幅不同视角拍摄的图片如图3所示。实验的具体步骤为：对图像进行预处理;利用SURF算法提取图像对的特征点并对特征点进行匹配;用RANSAC算法快速去除错误的匹配点，提高特征点匹配的精确度;最后，基于SURF算法和改进的RANSAC算法进行特征点匹配，对匹配结果进行比较。

图3  实验图像

图4是单独使用SURF算法得出的特征点匹配结果及图像配准结果。从图4a）可以看出检测出的特征点数量较多，但同时匹配错误的特征点对也较多。此时配准出的图像有明显的变形，如图4b）所示。

图4  SURF算法实验结果

图5是SURF+RANSAC算法实验结果。可以看出匹配错误的特征点明显减少，匹配度有了一定的提高，但是错误匹配点依然存在;另外配准图像的变形问题得到了有效的改善，但仍然存在轻微变形问题。

图5  SURF+RANSAC算法实验结果

图6是SURF+改进的RANSAC算法实验结果。图中错误的匹配对几乎没有。利用改进后的RANSAC 算法对误匹配点进行了剔除，在提高精度的同时又提高了算法的实时性;同时图像配准的结果是三次实验中效果最好的，几乎没有变形。

还对三种算法的特征点匹配正确率进行了对比分析。特征点的匹配正确率可以用式（15）进行计算，数据对比如表1所示。

图6  SURF+改进的RANSAC算法实验结果

表1  几种算法的准确率对比

5  结  语

本文先用SURF算法提取待配准图像对的特征;接着计算各特征点的Haar小波响应系数以确定特征点主方向和特征矢量;然后用基于欧氏距离的方法实现特征的匹配;并用改进后的RANSAC算法来快速剔除错误的匹配点，实现了快速地完成图像的匹配过程。在实际的实验对比表明，利用SURF算法和改进的RANSAC算法相结合的办法能够有效地提高特征点的匹配度，为立体显示技术的后续工作提供了一定的前期准备。

注：本文通讯作者为徐武。

参考文献

[1] CHATURVEDI A， SETHI N， CHATURVEDI A， et al. Automatic license plate recognition system using surf features and RBF neural network [J]. International journal of computer applications， 2014， 70（27）： 37?41.

[2] 陈莉莉.自由立体显示系统中的校正技术[D].天津：天津大学，2014.

CHEN Lili. Correction technology in free stereoscopic display system [D]. Tianjin： Tianjin University， 2014.

[3] 杨海燕，罗文超，刘国栋.基于SURF算法和SC?RANSAC算法的图像配准[J].计算机应用研究，2013，30（5）：1586?1588.

YANG Haiyan， LUO Wenchao， LIU Guodong. Image registration based on SURF and SC?RANSAC [J]. Journal of computer applications， 2013， 30（5）： 1586?1588.

[4] 史露，苏刚，韩飞.基于SIFT和SURF图像拼接算法的改进算法[J].计算机应用与软件，2013，30（6）：72?74.

SHI Lu， SU Gang， HAN Fei. Improved algorithm based on SIFT and SURF image stitching [J]. Journal of computer applications and software， 2013， 30（6）： 72?74.

[5] 佘建国，徐仁桐，陈宁.基于orb和改进ransac算法的图像拼接技术[J].江苏科技大学学报（自然科学版），2015（2）：164?169.

SHE Jianguo， XU Rentong， CHEN Ning. Image mosaic based on Orb and improved Ransac [J]. Journal of Jiangsu University of Science and Technology （Natural science edition）， 2015（2）： 164?169.

[6] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features （SURF） [J]. Computer vision & image understanding， 2008， 110（3）： 346?359.

[7] 陈雪涛，穆春阳，马行.基于SURF和改进RANSAC的视频拼接算法[J].现代电子技术，2016，39（10）：44?48.

CHEN Xuetao， MU Chunyang， MA Xing. Video mosaic algorithm based on SURF and improved RANSAC [J]. Modern electronics technology， 2016， 39（10）： 44?48.

[8] 权巍，包铁壮，白宝兴，等.SURF与RANSAC算法结合的图像跟踪方法[J].计算机仿真，2016，33（9）：268?272.

QUAN Wei， BAO Tiezhuang， BAI Baoxing， et al. Image tracking method combining SURF and RANSAC algorithm [J]. Computer simulation， 2016， 33（9）： 268?272.

[9] 范宗杰，徐向辉，周晓丽.一种基于SIFT算法的SAR图像配准方法[J].电子测量技术，2014，37（8）：70?74.

FAN Zongjie， XU Xianghui， ZHOU Xiaoli. A SAR image registration method based on SIFT [J]. Electronic measurement technology， 2014， 37（8）： 70?74.

[10] 尚明姝.基于改进SIFT特征匹配的快速图像拼接算法[J].微电子学与计算机，2014，31（1）：64?67.

SHANG Mingshu. A fast image mosaic algorithm based on improved SIFT feature matching [J]. Microelectronics & computer， 2014， 31（1）： 64?67.