基于投影变换与SIFT结合的摆扫图像拼接技术

袁艳，叶会，苏丽娟

（北京航空航天大学，北京100191）

基于投影变换与SIFT结合的摆扫图像拼接技术

袁艳，叶会，苏丽娟

（北京航空航天大学，北京100191）

针对航空序列摆扫图像中心倾斜投影视角变化大的问题，提出一种基于中心投影变换与SIFT相结合的图像拼接方法。该方法首先根据摆扫机构提供的参数，结合中心投影构像方程计算出图像的投影变换矩阵，用于对序列摆扫图像进行校正；运用SIFT算法提取图像重叠区域的特征点，并采用欧氏距离进行特征点匹配；然后利用RANSAC算法剔除错误匹配点，并计算出变换矩阵对图像进行配准；最后采用渐入渐出的图像融合方法得到无缝拼接的图像。通过与传统图像拼接方法进行对比，实验证明文中提出的方法较大地提高了配准的精度以及拼接效果。

投影变换；SIFT；图像配准；融合方法；图像拼接

0 引言

随着无人机航拍技术的发展，无人机航拍技术越来越多地应用到军事、测绘、环境监测等领域。而航空相机是人们获取地面信息的重要手段，为了扩大相机视场，可以采用多个CCD相组合，但是这样大大增加了相机的体积、质量、成本和复杂度[1⁃2]。所以可以将框幅式相机安装于转台上，通过转台的运动实现摆扫成像，这时就需要图像拼接生成大视场的图像。

图像拼接包括图像预处理、图像配准、图像融合，其中图像配准是关键。图像配准一般分为基于像素与基于特征两种方法，但前者易受光照变化影响且计算量较大。而David G.low提出的基于特征的SIFT方法因为具有平移，旋转，缩放以及光照不变性等优点[3⁃4]，得到了广泛的应用，但大视角变换会对拼接效果造成一定的影响[5⁃6]。另一种图像拼接的方法是在内外方位元素已知的情况下，利用中心投影共线方程精确校正倾斜相片，直接完成拼接，但是该方法需要精确的主动姿态测量设备，并且需要标定。针对以上问题本文提出一种基于中心投影变换与SIFT结合的图像拼接方法，该方法通过主动姿态测量设备提供的部分参数，结合中心投影构像方程计算出图像的投影变换矩阵，对序列图像进行粗校正，再利用SIFT算法进行特征提取完成图像拼接，不仅克服了以上图像拼接的问题，而且较大地提高了图像配准精度与拼接效果。

1 基于投影变换序列图像几何校正

通过摆扫生成的序列图像有较大的视角变化，根据摆扫成像原理越靠近边缘的图像其摆扫角度越大，畸变也越大。本文首先通过中心投影构像方程推导出投影变换矩阵，并利用矩阵变换对序列图像进行粗校正用于后期图像拼接。

如图1所示，S是摄影中心，A，B为地面点，S-XYZ为像空间辅助坐标系，像点a在像空间辅助坐标系中坐标为(X,Y,Z)；O-xyz为像空间坐标系，a的像空间坐标为(x,y,z)；D⁃XptYptZpt为摄影测量坐标系，其Xpt，Ypt，Zpt轴和像空间辅助坐标系平行，且方向相同，S，A在摄影测量坐标系中的坐标分别为S(XSpt,YSpt,ZSpt), A(XApt,YApt,ZApt)；P0是正射影图像，P1是倾斜摄影的图像，P2是校正后的图像[7]。

图1 中心投影构像关系

像空间辅助坐标与像空间坐标之间的关系见公式（1），其中a1，a2，a3，b1，b2，b3，c1，c2，c3为相机的外方位元素，是由相机的姿态角度决定；f为相机焦距。摄影坐标与像空间辅助坐标关系式见公式（2）。

由以上两个式子可以推出摄影坐标与像空间坐标关系式为式（3）。

为了消去上式中的Z，令W=c1x+c2y-c3f，矩阵变换后得到公式（4）：

如图1所示，将倾斜摄影的像片P1变为水平摄影的像片P2，是一种平面对平面的投影变换，此时可以将P2当作物面，利用公式（4）可以计算出校正后图像在摄影测量坐标系中位置a′(X1pt′,Y1pt′,Z1pt′)：

本文摆扫成像过程中，相机绕X轴旋转，摆扫角度是已知的，假设此时摆扫角度为ω，另外两个角度为ψ=0，κ=0，根据外方位元素的计算公式可得a1=1，a2=0，a3=0，b1=0，b2=cosω，b3=-sin ω，c1=0，c2=sin ω，c3=cosω，代入公式（5）可得：

若倾斜图像某点坐标为（x0，y0），校正后图像对应该点坐标为（x1，y1），由公式（7）即可计算出校正后图像坐标，即可对倾斜图像进行校正。

2 基于SIFT的序列图像配准与拼接

2.1 特征提取

SIFT（Scale Inveriant Feature Transform）算法最早是由David G.low提出的，是一种基于尺度空间理论的图像特征提取方法，该方法具有旋转，尺度缩放，亮度变化不变性等优点，而且易于实现和其他方法的结合[8⁃9]。由该方法提取出的特征点具有位置、尺度和方向三个特征。

特征检测：高斯卷积核是实现尺度变换的惟一线性核[10]，如公式（8）。本文利用公式（9）生成高斯尺度空间L(x,y,σij)，再利用公式（10）生成高斯差分尺度空间D(x,y,σij)。

式中：(x，y)代表特征点的位置；σij代表第i组第j层图像的尺度；σi,j+1与σij的关系如公式（11），下一组第一层图像的尺度与上组图像尺度关系如公式（12）；O为尺度空间组数；S为高斯差分尺度空间去掉首尾两层后的层数，文中选取O=4，S=3，σ11=1.6。

在高斯差分尺度空间进行极值点检测并剔除边缘及不稳定的极值点后剩下的点即为提取出的特征点，由此得到了特征点的位置和尺度。

主方向生成：检测出特征点后在高斯尺度空间利用特征点邻域像素方向分布特性统计出主方向。

本文选择以特征点为中心，以3×1.5σij为半径区域如图2（a）所示，利用公式（13），（14）计算图像梯度的模值、幅角。

再利用直方图统计特征点邻域像素的梯度幅角和模值，如图2（b）所示横坐标代表梯度幅角柱数，纵坐标代表梯度幅角对应的模值加权累加值，计算公式如公式（15）。

式中：Mk表示第k柱梯度幅角对应模值累加值；R表示梯度幅角在[10（k-1），10k]范围内的像素点个数，（pk，qk）表示像素点坐标。由此得到特征点的主方向，使特征点具有旋转不变性。

图2 主方向生成

特征向量生成：检测到主方向以后，将图像旋转到主方向，然后将以特征点为中心的邻域像素划分为d×d个子区域，每个子区域包含4×4个像素。利用加权梯度方向直方图统计生成一个8维的种子点方向向量，将所有种子点方向向量合并生成一个特征向量并进行归一化处理。特征点描述子的生成见图3。

为了增强匹配的稳健性，本文选取d=4，因此特征点邻域共产生了16个种子点，设每个种子点方向向量为Xi(xi1,xi2,…,xij,…,xi8)，其中i=1,2,…,16，则生成的特征向量为Y(y1,y2,…,y128)=(X1,X2,…,X8)。经过归一化处理生成的特征点向量为S(s1,s2,s3,…,s128)，其中si如下：

图3 特征点描述子的生成

2.2 特征匹配

本文采用欧式距离作为特征点匹配准则。假设待拼接的图像A和B中各有m,n个特征点，其特征向量分别为SAi(ai1,ai2,ai3,…,ai,126,ai,127,ai,128)，i∈[1,m]，SBj(bj1,bj2,bj3,…,bj,126,bj,127,bj,128)，j∈[1,n]，则A,B中任意两个特征点的欧式距离为dij。

设A中一个特征点和B中所有特征点中最近和次近点的欧式距离分别为d1，d2，当d1

2.3 图像配准与拼接

得到匹配点对后，根据摆扫成像原理，本文采用透视投影变换模型进行图像配准，并利用RANS⁃AC（RANdom Sample Consensus）[11⁃12]方法计算出该投影变换矩阵中的8个未知参数得到H。

式中：h1，h2，h4，h5代表缩放旋转因子，h3，h6为平移因子，h7，h8代表仿射因子。

根据投影变换矩阵H可以将图B变换到图A的坐标系中实现图像对准，再将重叠区域的图像进行融合实现图像的无缝拼接。本文采用渐入渐出方式进行图像融合如公式（20）：

本文以序列摆扫图像为研究对象，以倾斜角度分别为0°，α°，2α°，3α°，…，nα°的序列图像为例，如图4所示。图中相邻的序列图像间有部分重叠区域，在进行特征提取时只针对重叠区域进行，相邻图像拼接时采用渐入渐出图像融合方法。拼接过程中Step1以0°图像为基准，根据本节中图像拼接方法实现0°，α°两幅图像的无缝拼接；Step2以拼接好的图像为基准，对2α°图像进行配准与拼接，依次类推最后完成n+1幅图像的拼接。

图4 序列图像拼接顺序

3 图像拼接评价函数

结构相似度（Structual SIMilarity，SSIM）是一种符合人眼视觉系统特性的评价标准，它能够度量两幅图像在结构上的失真[13⁃14]。假设IA，IB分别表示图像A，B的灰度值，则定义SSIM如下：

其中：（lIA，IB）为亮度函数，c（IA， IB）为对比度函数；为结构函数，

uIA，uIB，σIA，σIB和分别表示两幅图像灰度的均值，标准差和协方差。为常数，本文选取C1=0.000 2，C2=0.000 3。

根据文献调研表明SSIM主要针对两幅图像配准进行评价，本文针对序列图像拼接效果提出依次计算Step 1， Step 2，Step 3，…，Step n拼接时重叠区域的结构相似度SSIM1，SSIM2，SSIM3，…，SSIMn，然后取其平均值的方法进行序列图像拼接效果评价。

4 实验设计与结果分析

为了对本文提出的图像拼接方法进行验证，分别设计了以下两组实验，一组为数字仿真实验，主要用于验证本文提出拼接方法的准确性与优越性；另一组为实物仿真摆扫实验，主要用于验证本文提出拼接方法在实际应用场合中的可行性与优越性。

4.1 数字仿真实验

本实验选择一幅大小为2 833×772的图像作为仿真数据源，如图5所示。

图5 仿真数据源图像

实验假设摆扫相机焦距为f=15mm，像元大小为s=6μm，像面大小为512×512，摆扫成像角度分别为0°，8°，16°，24°，32°。仿真生成的摆扫序列图像如图6所示，以24°图像为例，其对应的地物范围如图5中白色方框部分所示。

图6 仿真图像序列

分别对图6中仿真序列摆扫图像和图7中校正后的序列摆扫图像利用第2节方法进行拼接，得到拼接图像如图8（a），（b）所示。

图7 投影变换校正后的图像序列

表1中给出了基于SSIM的评价结果，其中SSIM1，SSIM2，SSIM3，SSIM4表示分步配准后重叠区域的结构相似度，表示SSIM，SSIM，SSIM，SSIM的平均

1234值，SSIM表示拼接后的图像和原始参考图像之间的结构相似度，由此可知本文提出的方法相对于直接拼接的方法具有更高的配准精度。

图8 图像拼接结果

表1 拼接效果评价

4.2 实物仿真摆扫实验

本实验搭建了如图9所示的实验平台，其中相机的焦距f=50 mm，像元大小s=9 μm，CCD像面大小为1 024×1 024。为了实现投影变换，本装置设定坐标系如下：S⁃XYZ为像空间辅助坐标系，其中S为相机近似光心，X轴为铅垂方向，Z轴垂直于拍摄景物平面，XYZ构成右手直角坐标系；O⁃xyz为像空间坐标系，z轴为相机光轴；ω为相机摆扫角度。

图9 实验装置照片

实验中ω分别取0°，8°，16°，24°，32°得到如图10所示序列摆扫图像。投影变换校正后的图像序列如图11所示。

由图像的拼接结果图12可以看出，直接拼接的方法在Step 4进行特征匹配时匹配的特征点较少且较为集中，导致配准精度降低拼接出错如12（a）中白色方框所示。而本文提出的方法能够正常完成拼接如图12（b）所示，而且表2中评价结果显示本文提出方法拼接图像重叠区域的相似度高于直接拼接方法。

图10 实验拍摄的摆扫序列图像

图11 投影变换校正后的图像序列

图12 图像拼接结果

表2 拼接效果评价

5 结论

由于序列摆扫图像有较大的视角变化，直接对序列图像进行拼接配准精度较低，甚至会造成拼接错误。本文提出的对序列摆扫图像先利用投影变换矩阵进行几何校正再拼接的方法，有效地解决了视角差太大的问题，提高了配准精度以及图像拼接的效果，当摆扫图像的摆扫角度增大时，本文提出的拼接方法更有优势。

[1]PETRIE G，WALKER A S.Airborne digital imaging technolo⁃gy：a new overview[J].The Photogrammetric Record，2007，22（119）：203⁃⁃225.

[2]WANG Hui，WU Yun⁃dong，LIANG Hong.Research status of digital aerial camera system[J].Journal of Zhengzhou Institute of Surveying and Mapping，2007，24（3）：171⁃174.

[3]LOWE D G，Object recognition from local scale⁃invariant fea⁃tures[C].Proceedings of the 7th IEEE International Confe⁃rence on Computer Vision.Kerkyra，Greece：IEEE，1999，2：1150⁃1157.

[4]LOWE D G.Distinctive image features from scale⁃invariant key⁃points[J].International Journal of Computer Vision，2004，60（2）：91⁃110.

[5]MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615⁃1630.

[6]HUANG Wei，WEI Ying⁃mei，XIE Yu⁃xiang，et al.Survey of local invariant feature description[C]//Chinese Automation Congress（CAC），2013.Changsha：IEEE，2013：353⁃358.

[7]朱述龙，珠宝山，王红卫.遥感图像处理与应用[M].北京：科学出版社，2006.

[8]杨化超.图像局部不变特征及其匹配问题研究及应用[M].北京：测绘出版社，2013.

[9]CAPEL D P，Image mosaicing and super⁃resolution[D].Oxford：Robotics Research Group Department of Engineering Science University of Oxford，2001.

[10]KOENDERINK J.The structure of image[J].Biological Cyber⁃netics，1984，50（5）：363⁃370.

[11]FISHIER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Comm.Assoc Comp Mach，1981，24（6）：381⁃395.

[12]LI Bin，MING De⁃lie，YAN Wen⁃wen，et al.Image matching basedontwo⁃columnhistogramhashingandimproved RANSAC[J].IEEE Geoscience and Remote Sensing Letters，2014，11（8）：1433⁃1437.

[13]程光权，成礼智，赵侠.基于几何特征的图像处理与质量评价[M].北京：国防工业出版社，2013.

[14]WANG Hong⁃nan，ZHONG Wen，WANG Jing，et al.Re⁃search of measurement for digital image definition[J].Journal of Image and Graphics，2004，9（7）：828⁃832.

Scanning image mosaic technology based on projection transformation and SIFT

YUAN Yan，YE Hui，SU Li⁃juan
（Beihang University，Bejing 100191，China）

To solve the problem，that the center oblique projection has great variation in angle of view，an image mosaic method base on center projection transformation and SIFT is presented for scanning image sequence.First of all，according to the parameters provided by the scanning mechanism and the center projection imaging equation，the projection transformation matrix which is applied to correcting the sequence scanning image is calculated，the SIFT algorithm is utilized to extract the fea⁃ture points of the image overlap area，which are matched by using Euclidean distance，and then the RANSAC algorithm is used to eliminate the error matching point and calculate transformation matrix for image match.Finally，the seamless mosaic image is obtained by the image fusion method.Compared with the traditional fusion method，the results show that the accuracy of image match and image mosaic effect are improved by the proposed image mosaic method.

projection transformation；SIFT；image match；fusion method；image mosaic

TN911.73⁃34；TP391

A

1004⁃373X（2015）09⁃0059⁃06

袁艳（1967—），女，安徽人，研究员，博士。主要研究方向为光谱成像技术。

叶会（1989—），女，四川人，硕士。主要研究方向为图像处理。

2014⁃11⁃19

国家863高技术研究发展计划（2013AA××× 2023）；长江学者和创新团队发展计划资助

苏丽娟（1981—），女，安徽人，讲师，博士。主要研究方向为光谱分析。