具有光照鲁棒的图像匹配方法

王焱 吕猛 孟祥福 李宇浩

摘 要：针对现有的基于局部特征的图像匹配算法对光照变化敏感、匹配正确率低等问题，提出一种具有光照鲁棒性的图像匹配算法。首先使用实时对比保留去色（RTCP）算法灰度化图像，然后利用对比拉伸函数模拟不同光照变换对图像的影响从而提取抗光照变换特征点，最后采用局部强度顺序模式建立特征点描述符，根据待匹配图像局部特征点描述符的欧氏距离判断是否为成对匹配点。在公开数据集上，所提算法与尺度不变特征变换（SIFT）算法、加速鲁棒特征（SURF）算法、“风”（KAZE）算法和ORB算法在匹配速度和匹配正确率上进行了对比实验。实验结果表明：随着图像亮度差异的增加，SIFT算法、SURF算法、“风”（KAZE）算法和ORB算法匹配正确率下降迅速，所提算法下降缓慢并且正确率均高于80%;所提算法特征点检测较慢和描述符维数较高，平均耗时为23.47s，匹配速度不及另外四种算法，但匹配质量却远超过它们。对实时性要求不高的系统中，所提算法可以克服光照变化对图像匹配造成的影响。

关键词：图像匹配;光照鲁棒性;图像灰度化;对比拉伸函数;局部强度顺序模式

中图分类号： TP391.413

文献标志码：A

Abstract： Focusing on the problem that current image matching algorithm based on local feature has low correct rate of illumination change sensitive matching， an image matching algorithm with illumination robustness was proposed. Firstly， a Real-Time Contrast Preserving decolorization （RTCP） algorithm was used for grayscale image， and then a contrast stretching function was used to simulate the influence of different illumination transformation on image to extract feature points of anti-illumination transformation. Finally， a feature point descriptor was established by using local intensity order pattern. According to the Euclidean distance of local feature point descriptor of image to be matched， the Euclidean distance was determined to be a pair matching point. In open dataset， the proposed algorithm was compared with Scale Invariant Feature Transform （SIFT） algorithm， Speeded Up Robust Feature （SURF） algorithm， the “wind” （KAZE） algorithm and ORB （Oriented FAST and Rotated， BRIEF） algorithm in matching speed and accuracy. The experimental results show that with the increase of image brightness difference， SIFT algorithm， SURF algorithm， the “wind” algorithm and ORB algorithm reduce matching accuracy rapidly， and the proposed algorithm decreases matching accuracy slowly and the accuracy is higher than 80%. The proposed algorithm is slower to detect feature points and has a higher descriptor dimension， with an average time of 23.47s. The matching speed is not as fast as the other four algorithms， but the matching quality is much better than them. The proposed algorithm can overcome the influence of illumination change on image matching.

Key words： image matching; illumination robustness; color-to-gray conversion; contrast stretching function; local intensity order pattern

0 引言

基于局部特征點的图像匹配被广泛地应用在图像识别、图像拼接、目标跟踪等领域。在实际采集图像中，光照变化致使同一物体反射的光线发生变化，造成成像亮度不同;不同相机的光感特性不同也会造成同一物体成像后存在亮度变化;并且亮度较低的图像，在进行脱色时会造成大量信息的丢失，这会给局部特征提取、描述符建立和匹配带来困难。

针对光照变化造成图像匹配困难的问题，国内外学者提出了许多具有光照鲁棒性的图像匹配算法。文献[1]中提出尺度不变特征变换（Scale Invariant Feature Transform， SIFT）的特征点检测和匹配算法，匹配效果较好，但未考虑脱色后图像的信息的丢失和亮度变化，且算法复杂度较高。文献[2]中提出加速鲁棒特征（Speeded Up Robust Feature， SURF）算法的特征点提取与匹配，其复杂度比SIFT算法低，鲁棒性好，但亮度变化时效果欠佳。文献[3]在SIFT算法上进行改进的ASIFT（Affine Scale Invariant Feature Transform）算法，只考虑了仿射空间中图像特征点提取和匹配，未考虑图像亮度和灰度化对图像匹配的影响。文献[4]中提出一种新型的灰度化图像算法，提高了图像的对比度，在该灰度图像上SIFT、SURF等算法特征点检测和匹配拥有更好的效果，但没有考虑光照对图像匹配的影响。文献[5]建立了更高维度特征点描述符的BRISK（Binary Robust Invariant Scalable Keypoint）算法，对模糊图像匹配有很好的性能，但描述符维度过高匹配时间较长，对光照变化和灰度化信息丢失未进行考虑。文献[6]使用Oriented Fast算法选取特征点Rotated BRIEF（Binary Robust Independent Elementary Feature）建立描述符，鲁棒性好、速度快，但易受光照变换的影响。文献[7]模拟人眼识别物体进行匹配，速度快但精度相比上述算法较低。文献[8-9]利用光照鲁棒性的特征点提取变换算法，但算法复杂度很高，实时性差。文献[10]在仿射空间中对亮度不同的图像进行匹配，匹配效果很好，计算量却很大，不适合实时图像匹配。文献[11]从改进Hu不变矩出发，使其具有光照鲁棒性，却未考虑彩色图像脱色后信息丢失。文献[12]利用灰度信息在高维向量空间中，利用非线性相关进行图像匹配速度较快，一定程度上具有光照鲁棒性，却未考虑图像脱色造成的色彩信息丢失。

针对上述算法不考虑彩色图像灰度化图像局部信息丢失、对光照鲁棒性差等问题，本文提出一种具有光照鲁棒性算法，该算法用实时对比保留去色（Real-Time Contrast Preserving decolorization， RTCP）算法[13]对图像进行预处理，使用对比拉伸函数模拟不同光照变换对图像影响从而提取特征点，最后使用局部强度顺序模式（Local Intensity Order Pattern for feature description， LIOP）[14]建立特征描述符。实验结果表明，对光照差异较大的待匹配图像，本文提出的匹配算法具有很强的鲁棒性。

1 图像预处理

若输入图像为RGB空间色彩，直接使用固定权值把RGB色彩空间映射到灰度空间，会造成大量色彩信息丢失。这会给特征点提取、描述符建立带来巨大误差。基于最小化梯度误差模型的RTCP算法，可以生成具有更多细节的灰度图像。具体步骤如下。

2 图像匹配

2.1 特征点提取

针对传统的SIFT算法、ORB（Oriented FAST and Rotated BRIEF）算法提取特征点时，仅根据当前像素值大小，易受光照影响。本文提出使用对比拉伸函数模拟不同光照对图像的影响，再利用积分Harris矩阵检测特征点。具体步骤如下。

式（11）利用黎曼积分思想，累加以拉伸中心c生成的对比拉伸图像特征相应函数R（x，y，c），Rarea对于不同的光照强度不敏感，可以提取具有光照不变性的特征点。在本文中若某一像素的Rarea>30，则该像素为特征点。

2.2 描述符建立

SIFT、SURF、KAZE[15]和ORB等算法都需要以特征点为中心选取像素块建立描述符的主方向，主方向依据像素块内像素的梯度或像素值建立，因此当光照不同时描述符的鲁棒性欠佳。为避免这一状况，本文提出使用局部强度顺序算法建立描述符。若是以特征點为中心的特征区域有L个像素点，并按照像素大小顺序排列，表示为：Osort={xk1，xk2，…，xkL}，xk1≤xk2≤…≤xkL，x表示像素点的值，k为像素点的索引号。按照排列顺序可以把特征区域分为B个子区域，每个子区域的像素点数为S=nL/B，其中n为子区域的排序号，具体划分方式如图1。

以特征点X为中心的特征区域上的一个像素点x，以像素点x为圆心、R为半径的圆上均匀取N个采样点，第一个采样点是Xx方向，剩下采样点为第一个采样点的逆时针方向在圆上均匀采样。如图2（a）中圆上有N=4个采样点，用P（x）={x1，x2，…，xN}表示N个采样点的像素值构成N维向量。构建LIOP（Local Intensity Order Pattern for Feature Description）描述符步骤如下。

2）以采样点数量N，建立像素值强度排列顺序索引表，如图2（d）为N=4建立的强度排列顺序索引表，π为索引值。

3）以γ（P）=π映射的索引值编码N！的向量，可表示为：

其中Ind（π）表示索引值π在索引表对应的索引若π为矢量、向量或矩阵，此处π的值好象是数值，如何理解？，向量φ（π）第Ind（π）=1此句不通顺，作相应调整，其余值均为0。构建方式，如图2。

4）特征区域中单个像素点的LIOP描述符建立方式如式（14）：

对同一个子区域的像素点的LIOP的描述符相加，得到该子区域的描述符，把所有子区域的描述串联便得到整个特征区域的描述符，表示为：

其中B表示为特征区域分为子区域的个数，则特征区域的描述符的维数为N！×B。

2.3 特征点匹配

在本文中N=4，B=6，可以计算出LIOP描述符的维数为144。若是两幅图像上的特征点分别为（x1，y1）和（x2，y2），则计算两点之间的欧氏距离，可表示为：

借鉴SIFT算法的思想，若Lmin/Lmin-1≤0.6，则认为该对匹配点是正确的，其中Lmin为两幅图像特征点之间最近欧氏距离，Lmin-1为两幅图像特征点之间次近距离。

3 实验与结果分析

3.1 实验过程

为了验证本文提出的算法具有很好的光照鲁棒性，选择具有代表性的基于局部特征的图像匹配算法进行对比实验。SIFT算法是最经典的匹配算法;SURF算法是对SIFT算法的改进具有更强的鲁棒性;KAZE算法首次提出非线性金字塔，大幅度增加了匹配的鲁棒性;ORB算法是较为稳定的二进制描述符匹配算法。故选择SIFT算法、SURF算法、KAZE算法、ORB算法和所提算法在文献[14]和INRIA数据库中亮度不同的图像进行对比实验。

本实验的实验平台为个人笔记本，配置AMD A8-4500 1.9GHz，4GB内存，操作系统为Windows 10，基于OpenCV 2.413在Visual Studio 2013上进行实验。

3.2 实验结果

为了验证本文算法对于亮度差异图像特征点匹配的优越性，使用文献[14]提供的5张亮度等级不同的图像和INRIA数据库提供的6张亮度等级不同的图像对SIFT算法、SURF算法、AKZE算法、ORB算法和本文提出的算法进行测试。图3为RTCP算法灰度化文献[14]和INRIA数据库提供的亮度不同图像，从感官角度判断：随着图像亮度的减小，图像内容模糊程度逐渐增加。

利用图3（a）分别与图3（b）、3（c）、3（d）、3（e）和3（f）（记为对比组1～5）进行匹配，匹配正确率如图4（a）;使用图3（g）分别与图3（h）、3（m）、3（n）和3（o）（记为对比组1～4）匹配，各种算法的匹配正确率如图4（b）。由图4可看出，随着亮度差异的增加，各种算法的匹配正确率逐渐下降。KAZE算法采用非线性滤波算法搭建金字塔，更好地保护了图像边缘信息，在图像亮度较低时，保留了更多图像信息，使得描述符的鲁棒性增加，故在亮度差异增加时，匹配正确率下降较少。SIFT算法以图像的梯度方向作为主方向建立梯度描述符，在亮度变换较大时，描述符的鲁棒性严重下降，故随着亮度差异的增加，匹配正确率快速下降。SURF算法构建描述符的主方向依赖局部梯度，当亮度差异较大时主方向变换很大，成对匹配点计算欧氏距离维度对应错误，故匹配正确率随亮度差异增加下降也较快。FAST算法比较不同像素的大小检测特征点，当亮度较低时FAST算法提取特征点效果较差;ORB算法描述符为二进制描述符，比较特征区域中像素值大小建立描述符，故ORB算法的鲁棒性最差，随着亮度差异增加匹配正确率下降速度最快。本文算法先利用RTCP算法获得具有更多信息的灰度图像，再利用对比拉伸函数模拟不同光照对图像影响，使用积分的方式检测具有光照鲁棒性的特征点，LIOP算法对特征区域投影计算描述符，不以梯度建立描述和寻找主方向，使得描述符的光照鲁棒性增加，故在亮度差异较大时，匹配正确率下降速度缓慢。

SIFT算法相比SURF算法，采用128维描述符，故速度要低于SURF算法。KAZE算法需要解非线性函数，故匹配速度不及SURF算法，描述符为64维匹配速度要优于SIFT算法。FAST算法检测特征点速度较快，BRIEF算法建立二进制描述符，故ORB算法匹配速度最快。RTCP算法相比Matlab和OpenCV的灰度化函数速度较慢，模拟不同光照的对比拉伸函数需要利用积分的思想多次处理图像，LIOP描述符维度为144匹配过程相比128维描述符较慢，故本文所提方法在速度上不及另外四种算法。SIFT算法、SURF算法、KAZE算法、ORB算法和本文算法匹配速度由表1数据排序：ORB算法、SURF算法、KAZE算法、SIFT算法和本文算法。

4 结语

针对现有匹配算法大多数不具有良好的光照鲁棒性的现状，本文提出利用RTCP算法对RGB图像进行脱色处理，用对比拉伸函数模拟光照变换提取抗光照变换特征点，利用LIOP算法提取特征点描述符进行匹配。实验结果表明：本文算法相比SIFT算法、SURF算法、KAZE算法和ORB算法具有更好的光照魯棒性，但匹配速度不及上述四种算法，在对实时要求不高的场合可以使用。在后续的工作中，需要对匹配速度进一步提升。

参考文献 （References）

[1] LOWE D G. Distinctive image features from scale-invariant key-points [J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[2] BAY H， ESS A， TUYTELAARS T， et al. SURF： speeded up robust features [J]. Computer Vision and Image Understanding， 2008， 110（3）： 346-359.

[3] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438-469.

[4] ANCUTI C O， ANCUTI C， BEKAERT P. Decolorizing images for robust matching [C]// Proceedings of the 2010 IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2010： 149-152.

[5] LEUTENEGGER S， CHLI M， SIEGWART R. BRISK： binary robust invariant scalable keypoints [C]// ICCV 2011： Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 2548-2555.

[6] RUBLRR E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF [C]// ICCV 2011： Proceedings of the 2011 International Conference on Computer Vision. Piscataway， NJ： IEEE， 2011： 2564-2571.

[7] ALAHI A， ORTIZ R， VANDERGHEYNST P. FREAK： fast retina keypoint [C]// Proceedings of the2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 510-517.

[8] GEVREKCI M， GUNTURK B K. Illumination robust interest point detection [J]. Computer Vision and Image Understanding， 2009， 113（4）： 565-571.

[9] 劉天亮，戴修斌，陈昌红，等.对光照变化鲁棒的快速关键点提取与匹配[J].东南大学学报（自然科学版），2012，42（3）：413-418.（LIU T L， DAI X B， CHEN C H， et al. Fast keypoint extraction and matching robust to illumination changes [J]. Journal of Southeast University （Natural Science Edition）， 2012， 42（3）： 413-418.）

[10] PENG O， SHOUYI Y， LEIBO L， et al. A FAST extreme illumination robust feature in affine space [C]// Proceedings of the 2014 International Conference on Pattern Recognition. Piscataway， NJ： IEEE， 2014： 2365-2370.

[11] 刘欢，郝矿荣，丁永生，等.光照鲁棒的抗模糊新组合不变矩图像匹配方法[J].传感技术学报，2013，26（9）： 1258-1264.（LIU H， HAO K R， DING Y S， et al. An image matching method of new illumination-robust and anti-blur combined moment invariants [J]. Chinese Journal of Sensors and Actuators， 2013， 26（9）： 1258-1264.）

[12] 吕文先，彭启民，吕玉增.光照鲁棒的非线性相关图像匹配方法[J].计算机辅助设计与图像学报，2009，21（6）：825-830.（LYU W X， PENG Q M， LYU Y Z. Illumination-robust image matching based on non-linear correlation [J]. Journal of Computer Aided Design & Computer Graphics， 2009， 21（6）： 825-830.）

[13] LU C W， XU L， JIA J Y. Contrast preserving decolorization [C]// Proceedings of the 2012 IEEE International Conference on Computational Photography. Piscataway， NJ： IEEE， 2012： 1-7.

[14] WANG Z H， FAN B， WANG G， et al. Exploring local and overall ordinal information for robust feature description [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 12（30）： 2513-2529.

[15] ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE feature [C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： Springer， 2012： 214-227.

[16] LU C W， XU L， JIA J Y. Real-time contrast preserving decolorization [C]// Proceedings of the SIGGRAPH Asia 2012 Technical Briefs. New York： ACM， 2012： Article No. 34.

[17] 卢红阳，刘且根，熊娇娇，等.基于最大加权投影求解的彩色图像灰度化对比度保留算法[J].自动化学报，2017，43（5）：843-854.（LU H Y， LIU Q G， XIONG J J， et al. Maximum weighted projection solver for contrast preserving decolorization [J]. Acta Automatica Sinica， 2017， 43（5）： 843-854.）

[18] MAIR E， HAGER G， BURSCHKA D， et al. Adaptive and generic corner detection based on the accelerated segment test [C]// Proceedings of the 2010 European Conference on Computer Vision， LNCS 6312. Berlin： Springer， 2010： 183-196.

[19] CALONDER M， LEPETIT V， STRECHA C， et al. BRIEF： computing a local binary descriptor very fast [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012， 34（7）： 1281-1298.

[20] 王輝，陈小雕，王毅刚.改进的非线性全局映射灰度化方法[J].计算机辅助设计与图形学学报，2013，25（10）：1476-1479.（WANG H， CHEN X D， WANG Y G. The improved color-to-gray via nonlinear global mapping[J]. Journal of Computer-Aided Design and Computer Graphics， 2013， 25（10）： 1476-1479.）

[21] TANG F， LIM S H， CHAN N L， et al. A novel feature descriptor invariant to complex brightness changes [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2009： 2631-2638.