高精度机载可见光图像定位方法*

(中国西南电子技术研究所，成都 610036)

高精度机载可见光图像定位方法*

古 博**，乔文昇

(中国西南电子技术研究所，成都 610036)

针对现有技术不能解决机载可见光图像快速自动定位的问题，提出了一种定位精度高、处理速度快、可扩展性好的机载可见光图像定位方法。该方法以传感器共线成像模型为中心，将实时图像和传感器成像参数送入共线模型进行正射校正，校正后的图像与相应的基准图像进行图像配准，使用配准同名点信息更新传感器成像参数，最后再次通过共线模型获取实时图地理坐标定位信息。这种通过图像配准再计算成像模型的间接定位方法，不仅减少了计算量，而且使自动配准算法稳定，较传统的直接定位方法或图像配准方法有突出的优势。此外，该方法具有严格的误差传递计算公式，能计算定位结果的误差。仿真实验表明即使在大倾斜角条件下，该方法也能获得优于100 m的定位精度。

可见光图像；图像定位；图像配准；误差传递；大倾斜角

1 引 言

可见光图像是机载传感器获取的侦察和战场态势中最直观的信息，它最易于被操作人员理解和使用。在机载图像信息的开发应用中，图像定位是基础，它的目的是将图像的每个像素位置与地理位置关联起来，也叫做图像地理编码。以此为基础，就可以很方便地开发各种更复杂的图像应用，例如不同类别图像之间的匹配、拼接、融合，基于图像的战场变化检测、毁伤评估等。

图像地理编码常见于遥感影像的几何纠正。它的主要内容是利用地面控制点、数字高程模型以及传感器参数来拟合一个几何变换模型，包括轨道模型、有理函数模型和多项式模型[1-4]。为了达到遥感影像应用的精度，需要一定数量的地面控制点，但很多实际情况下不能满足这个条件。基于控制点影像库的控制点半自动选取，使历史图控制点影像块与遥感图进行图像块搜索和匹配，为缺少控制点条件下的遥感影像定位提供了快速的技术支持[5]。

机载图像几何纠正的经典方法包括直接地理定位方法、空中三角测量方法和基于图像特征匹配方法。直接地理定位方法利用图像曝光时刻获取的传感器坐标、姿态信息等外方位元素通过成像模型纠正图像，处理速度快，但是由外方位元素的精度导致的定位精度通常不稳定且较差[6]。空中三角测量方法利用地面控制点对所的外方位元素进行平差[7]。基于图像特征匹配的方法避免地面控制点，利用同一批影像中相邻图像的重叠部分进行特征提取与匹配，使一批图像互相配准和校正[8]。该方法最大的优点在于能用计算机自动化处理。

针对上述传统图像定位方法不能快速自动处理或是定位精度不高的问题，本文设计了一种自动机载图像地理编码的方法。不同于传统的图像采集后经地面人工事后处理的方法，它能够近实时地自动将采集的图像赋予地理坐标值，并正射校正；对图像中的任意目标，不仅能够给出高精度的地理坐标，还能计算误差范围。

利用计算机图像匹配技术获取机载图像的几何纠正，是近年来研究的热点，在实践中也获得了较多的应用。本文提出的方法同样基于图像匹配获得的同名点信息来校正传感器的成像参数，再经过传感器成像模型纠正图像。本文方法是上述经典方法的综合，具备直接地理定位方法处理速度快的优点，同时利用同名点信息对成像参数更新提高定位精度，还能计算机全自动处理。并且，本方法解决了图像匹配法的稳定性和直接定位法的误差较大的问题。当与机载图像匹配的参考图像是经过地理编码的图像时，通过本方法纠正后的图像具有地理编码，同时本方法能够计算参考图像的地理定位误差和传感器参数误差向最终图像定位误差传递的过程。

2 机载可见光图像定位

图1所示的流程图描述了机载可见光图像定位方法。该方法是以传感器共线成像模型为中心，通过图像匹配调整传感器成像参数来达到精确定位的目的。利用机载实时图像的传感器成像参数，包括位置和朝向角度，经共线成像模型计算，获取图像各像素位置的地理坐标，即是将实时图像进行了正射校正。校正后的实时图像与相应的基准图进行图像配准，获取图像配准同名点。利用基准图同名点的地理坐标信息重新拟合更新传感器成像参数，更新后的参数再次通过共线成像模型，便可以对实时图像进行精确的地理编码，对实时图像的任意像素位置精确定位，同时可对定位结果进行误差分析。

图1 机载可见光图像定位方法流程图Fig.1 Diagram of the method for airborne optical image geolocation

下文对该方法中基于共线模型的直接定位、图像匹配、参数更新和误差分析这几个关键步骤进行详细描述。

2.1基于共线模型的直接定位

可见光的传感器成像已有严格的物理模型来描述，称作共线模型，是由地理坐标到传感器坐标的平移变换、旋转变换和传感器坐标到图像的映射变换，这3个坐标变换串联而成的坐标变换关系。这3个坐标变换组成如下两个方程组：

(1)

其中：(XS,YS,ZS)是传感器孔径中心的地心地固(ECEF)坐标，(Xk,Yk,Zk)是第k个像素位置对应的ECEF坐标即地理坐标，(xk,yk)是第k个像素在图像中的位置坐标，f是焦距，a11…a33组成旋转变换矩阵。这里没有考虑成像畸变，认为获取的图像已经经过畸变校正，并且后面的实验结果也能说明没有考虑成像畸变的简化模型可以达到较高的精度。

求解上述方程组，计算像素的地理坐标时，3个坐标未知数仅有两个方程，常用解算办法是引入地面高度信息。像素的地理坐标值还需满足以下的约束方程[9]：

(2)

其中：a是地球参考椭圆的半长轴长度，b是参考椭圆的半短轴长度，h是第k个像素对应的地面位置的高度。通过最小二乘方法可获得像素的地理坐标值，它同时满足方程组(1)和式(2)。

2.2图像匹配

图像匹配或配准在计算机视觉领域有深入的研究，基于特征的图像匹配是目前主流的研究热点[10]，但是实践中这种方法并不能保证正确匹配的稳定性。Doucette等人[11]在总结实用性的地理图像配准方法文章中，推荐归一化互相关法(NCC)用于地理信息方面的图像配准工具；在Cannata等人[12]开发的自动视频图像配准中同样采用这种互相关法，原因在于获取的实时图像带有成像参数，通过共线模型得到定位信息，完全可以利用此信息作为匹配的先验信息，约束互相关配准的匹配搜索范围，使图像匹配稳定。

实时图经共线模型得到定位信息，同时也能得到定位误差，根据定位误差约束基准图中图像互相关配准的范围。传感器的成像参数误差一般可以通过实验获得经验值，假设它们在ECEF坐标系下组成的误差矩阵表示为ΣPar，那么可以通过对式(1)和式(2)求偏导的方法获得误差的传递，以此得到定位误差。定位误差计算为

ΣXYZ=(BT(AΣParAT)-1B)-1。

(3)

其中：A是式(1)和式(2)对传感器参数的雅可比矩阵，B是式(1)和式(2)对地理坐标值的雅可比矩阵，ΣXYZ是ECEF坐标系下的定位误差。

对3倍ΣXYZ的图像范围进行匹配搜索，即可保证99%以上实时图与基准图配准成功的概率。Cannata等人[12]在他们设计的系统中选取互相关配准的最大4个候选峰值，然后校验得到最终的峰值相关位置，该位置是使得多个同名点的仿射变换结果一致的峰值位置。本文对该方法进行改进。因为实时图在经过共线模型正射校正后，得到与基准图同样视角、朝向和分辨率的校正图像，所以认为两幅图像之间仅存在平移变换关系：

(4)

其中：x0、y0是基准图的像素位置，x1、y1是实时图的像素位置，a、b组成的位移量画点如图2中的*号所示。图2实验中实时图和基准图分别被分为16块进行互相关。显然，可以采用K-means聚类方法[13]将正确配准的位移量选出来。如图2所示，正确的位移量被圈出，所对应的配准位置即是正确的匹配同名点对。

图2 互相关平移位置聚类Fig.2 The clustering of translation position of cross correlation

2.3参数更新

由图像匹配获得实时图像素位置与基准图地理位置的对应关系，以式(1)和式(2)为约束方程，采用最小二乘法更新传感器参数，算法流程如图3所示。

图3 传感器参数更新流程图Fig.3 Diagram of sensor parameters update

在匹配同名点处计算约束方程(1)和(2)的偏导，组成最小二乘法的迭代量：

Δ=(BTB)-1(BTF) 。

(5)

其中：B同式(3)，F是式(1)中方程组对传感器参数的雅可比矩阵且合并所有匹配同名点。

参数更新根据设定的迭代量阈值，当式(5)小于该阈值时，最小二乘法算法停止，输出更新后的传感器参数：

ParNew=Par+Δ。

其中：Par表示初始传感器参数，ParNew表示更新后的传感器参数。

图像匹配点越多，更新后的参数越准确，定位误差越小。因此，在图像匹配时，分块越多越好，但如果每块图像太小，缺乏有用信息会导致匹配失败。经过实验，认为分块大小为300 pixel×300 pixel左右比较合适。

2.4误差分析

误差分析引入配准误差和DEM误差：

(6)

其中：TECEF是图像坐标到ECEF坐标的坐标转换关系，ΣP,ECEF像素点P的ECEF坐标误差。图像配准误差到ECEF坐标误差传递本应该经过坐标转换函数的雅可比矩阵的链乘方法求得，但是在这里进行了简化，直接使用坐标转换函数作用于图像配准误差。实验也表明通过这两种方法获得的最终定位误差差别不大。

由式(6)的图像配准误差计算更新后的参数误差：

ΣPar=(BT(AΣP,ECEFAT)-1B)-1。

(7)

其中：B同式(3)，A在式(3)中A的基础上合并多个同名点。

最后，式(7)中的参数误差通过式(3)得到最终定位误差。

3 仿真实验分析

对本方法的误差进行数值仿真。假设传感器参数包含位置和朝向，输入误差源包含传感器位置误差、朝向误差，高程误差和配准误差，配准同名点数量为20个。根据误差分析计算方法获得定位误差。表1是机载传感器大倾斜角情况下的仿真结果。从表1可以看出，本文方法得到的定位误差优于直接定位法误差两个数量级，并且在DEM误差和配准误差稳定的情况下，能得到稳定的定位误差。在DEM误差和配准误差很差的情况下，得到的定位误差为100 m左右，因此认为本方法通常情况下获得的定位精度优于100 m。

表1 数值仿真实验结果Tab.1 Numerical simulation results

图4是实时图像、由共线模型校正后的实时图像，以及由本文方法更新传感器参数后再次校正的图像，可以看出图4(c)在图4(b)的基础上发生了少许几何形变。事实上，图4(c)中每个细节部位与基准图的位置更贴近。

图4 实时图像、通过直接定位模型正射校正图像以及本文方法校正图像Fig.4 Real-time image,orth-rectified image by the direct collinearity model,and rectified image by the proposed method

图5是本文方法校正后的实时图与基准图的叠加图像，其中基准图来自互联网并包含地理位置信息。图中内外两个圆圈分别标识了本文方法和直接定位法的90%概率的误差范围，大约等于计算出的协方差的2.164倍。可以看出本文方法的定位精度有较大优势。

图5 本文方法校正图像与基准图的叠加显示以及地理坐标和误差范围(基准图和坐标信息来自互联网)Fig.5 The overlay of rectified image by the propesed method and the reference image,as well as the geographical coordinates and error range(The reference image and coordinate information are from the Internet)

4 结束语

本文以传感器共线模型为中心，采用图像匹配更新传感器参数的方法，获得机载可见光图像的高精度定位结果，即使在大倾斜角条件下也能取得优于100 m的定位精度。图像匹配过程使用了直接定位方法得到的误差范围作为互相关匹配的约束，与常用的图像匹配方法相比，极大地减少了计算量，但是获得了稳定的配准结果。本文提出的方法以传感器模型为中心的优点在于：约束图像匹配的搜索范围，使本来不可控的图像匹配能够自动化并可控；可以计算定位结果的误差，具有严格的误差传递数学推导过程；可扩展性好，更换传感器模型即可适用于新的图像；还可以为视频图像序列快速地理编码及定位。

我们认为这种通过更新传感器参数再计算成像模型获得定位结果的间接定位方法，不仅可用于实时图像与基准图像的匹配和定位，还可能适用于无基准图像情况下的同传感器多图像以及多传感器多图像之间的相互校正，这也将是下一步的研究内容。

[1] KRATKY V. Rigorous photogrammetric processing of SPOT images at CCM Canada[J]. International Society for Photogrammetry and Remote Sensing (ISPRS) Journal of Photogrammetry and Remote Sensing,1989,2(44):53-71.

[2] WESTIN T. Precision rectification of SPOT image [J]. Photogrammetric Engineering & Remote Sensing ,1990,56(2):247-253.

[3] OKAMOTO A. Orientation theory of CCD line-scanner images [J]. International Archives of International Society for Photogrammetry and Remote Sensing (ISPRS) Journal of Photogrammetry and Remote Sensing,1988,27(B3):609-617.

[4] MADANI M. Real-time sensor-independent positioning by rational functions[C]// Proceedings of International Society for Photogrammetry and Remote Sensing (ISPRS) Workshop on Direct Versus Indirect Methods of Sensor Orientation. Barcelona:ISPRS,1999:64-75.

[5] 张祖勋，张剑清. 数字摄影测量学[J]. 武汉：武汉测绘科技大学出版社,1996.

[6] HEIPKE C,JACOBSEN K,WEGMANN H,et al.Integrated sensor orientation—an OEEPE test [J]. International Archives of Photogrammetry and Remote Sensing,2000,33(B3):373-380.

[7] 周晓敏，赵力彬，张新利. 低空无人机影像处理技术及方法探讨[J]. 测绘与空间地理信息，2012(2):182-184.

ZHOU Xiaomin,ZHAO Libin,ZHANG Xinli. Discussion on technique and method of low level UAV image processing[J]. Geomatics & Spatial Information Technology,2012(2):182-184. (in Chinese)

[8] ZITOVAB,FLUSSER J. Image registration methods:a survey [J]. Image and Vision Computing,2003,21(11):977-1000.

[9] 袁修孝，曹金山. 高分辨卫星遥感精确对地目标定位理论与方法[M]. 北京：科学出版社，2012.

[10] 王峰，尤红建，傅兴玉，等. 应用于多源SAR图像匹配的级联SIFT算法[J]. 电子学报， 2016(3):548-554.

WANG Feng,YOU Hongjian,FU Xingyu,et al. Cascade SIFT matching method for multi-source SAR images [J]. Acta Electronica Sinica,2016(3):548-554.(in Chinese)

[11] DOUCETTE P,ANTONISSE J,BRAUN A,et al. Image georeregistration methods:a framework for application guidelines [C]//Proceedings of IEEE Applied Imagery Pattern Recognition Workshop:Sensing for Control & Augmentation.Washington DC,USA:IEEE,2013:1-14.

[12] CANNATA R W,SHAH M,BLASK S G,et al. Autonomous video registration using sensor model parameter adjustments[C]//Proceedings of Applied Imagery Pattern Recognition Workshop.Washington DC, USA:IEEE,2000:215-222.

[13] JAIN A K，MURTY M N,FLYNN R J.Data clustering:a review[J].ACM Computing Surveys，1999，31(3):264-323.

AMethodforHighAccuracyAirborneOpticalImageGeolocation

GU Bo,QIAO Wensheng
(Southwest China Institute of Electronic Technology,Chengdu 610036,China)

For the unsolved technology problem of fast automatic geolocation of airborne optical images,a high accurate,high efficient and good scalable method is proposed for geolocation of airborne remote sensing optical images is proposed. The method is centered on sensor collinearity equations. The real-time image and the sensor imaging parameters will be put into the collinearity model for geometric rectification. Then the rectified image is registered with corrresponding reference image. The matching points are used to update the sensor imaging parameters. Finally,the updated parameters and real-time image are put again into the sensor collinearity model for acquiring geometric location information. This indirect geolocation method,which is based on image registration and imaging model,not only reduces the computation,but also makes the automatic registration stable. It has a prominent advantage over traditional direct or image registration methods. In addition,a strict error propagation formula is capable of computing the geolocation accuracy range. Simulation results show that even under the highly-oblique condition,a geolocation accuracy better than one hundred meters can be obtained with the proposed method.

optical image;image geolocation;image registration;error propagation;highly-oblique

date:2017-05-23；Revised date：2017-08-23

**通信作者：gubobogu@qq.com Corresponding author：gubobogu@qq.com

TN911.73;TP751

A

1001-893X(2017)10-1128-05

古博(1983—)，男，四川大竹人，2012年于四川大学计算机学院获博士学位，现为工程师，主要研究方向为信息融合、数字图像处理；

Email:gubobogu@qq.com

乔文昇(1969—)，男，贵州毕节人，研究员，主要从事航空电子总体论证工作。

10.3969/j.issn.1001-893x.2017.10.005

古博，乔文昇.高精度机载可见光图像定位方法[J].电讯技术，2017,57(10):1128-1132.[GU Bo,QIAO Wensheng.A method for high accuracy airborne optical image geolocation[J].Telecommunication Engineering,2017,57(10):1128-1132.]

2017-05-23；

2017-08-23