高频信息矢量匹配实现异源图像配准

韩广良

(中国科学院长春光学精密机械与物理研究所，吉林长春130033)

1 引言

目前基于光学成像的目标跟踪系统越来越多地使用多波段成像传感器进行目标场景的实时获取处理，目的是利用不同波段传感器响应场景的不同特性，获取对目标更详细的描述信息，以及更丰富的特征表达，通过对这些特征的处理，实现对场景目标更可靠更稳定的捕获和跟踪。本文以目前应用最广泛的可见与红外图像的多波段传感器组合为例，说明其应用的特点。

采用多传感器进行目标探测，大致可分为两种情况，一是这几种传感器的图像来自同一光学系统，即由光学系统通过镜片组的折反等处理，使进入光学系统的光线同时成像在后端的多个传感器上。这种方式的好处在于，虽然各个传感器分别在不同的波段成像，但是由于其来源为同一组光线，因此，成像后的图像是严格对应的。这种情况一般不需要复杂的图像对准过程，即对于后期的图像处理比较简单，这里不讨论此种情况。二是对于同一场景的不同波段传感器，分别来自不同光学系统，甚至不同的成像时刻，不同的成像条件，虽然指向相同的场景，但是由于以上这些不同，导致相同的场景在不同传感器中的表现形式具有很大的差异。例如一个地面的发电厂烟筒，一个可见光相机从其正上方向下拍摄，而另一个红外相机从其侧面拍摄，可以想象，这样获取的相同场景的异波段图像之间，具有明显的差异，要实现二者之间的配准，或者利用其中的一幅图像，在另一幅图像中进行自动识别定位，具有较大的难度。

目前这种非同光学系统的异源图像之间的配准研究，被广泛应用于智能武器、自寻的导引头、动态目标识别等领域，由于其极具挑战性而日益受到世界各国研究机构的重视，但尚无可靠的方法解决此问题。

［1］［3］中解决异源图像之间配准的方法一般集中在提取两类图像之间的共同特性，如红外与可见图像所具有的边缘特性，利用此特性进行自动匹配，实现图像的配准，但是这些方法均基于自动的特征提取和点阵图像的特征提取，存在的问题是其中包含了误识的、不正确的信息，这些错误信息严重影响图像的配准精度。

本文就利用矢量方法提取图像特征进行相应的探讨。

2 可见与红外图像的特征分析

对于一个场景，成像到图像传感器中，其成像规律为:

式中I为x，y坐标处的图像反映。

对于同一自然场景，可见光与红外图像的反应波段是不同的，红外主要体现了场景的辐射特性，而可见光则主要反映了场景的自然光反射特性，因此，两者对同一自然场景具有不同的最终图像构成。若加之其他的成像条件(如焦距、视场角、光照条件、成像角度、成像距离)等因素的影响，同一场景的两种图像会有相当大的差异，如图1所示。

图1 同一场景不同传感器在不同成像条件下的图像Fig.1 Images in different conditions and variable sensors to a same scene

为了解决这一问题，本文首先从两者的相同特性来分析。

图像低频:从场景整体来看，红外图像与可见图像对场景的波段反应是不同的，但是把焦点缩小到场景的局部，当场景的某个区域具有相同(或相似)的材质、光照、表面反射性质时，反应到红外和可见光图像上，其波段反应也是相同(或相似)的，这种相同性质的局部区域，在图像中反应为低频区域，即图像灰度变化比较平缓，当然，由于红外和可见波段的不同反应，此低频区域在两种图像中将呈现不同的灰度级别。

图像高频:在以上所述的场景局部区域的交界部分，由于两个区域之间很可能会发生材质、光照和表面反射特性的变化，从可见和红外图像的成像反应来看，交界部分将发生灰度的变动，即从一个灰度区域变化到另一个灰度区域，这在图像中体现为图像的高频特性。

从以上的分析可看到，虽然红外与可见图像之间具有较大的区别，但在场景的边缘和纹理处，可见和红外图像都表现灰度变化区域，即为高频反应，这种对场景高频区域的共同反应，可作为可见与红外图像对同一场景的共同特性。

对于以上成像方程，将其分解为高频和低频两个部分，即:

式中fH和fL分别为图像高频和低频组成部分。

实现红外与可见图像之间的配准或者匹配，需要研究的是其高频部分，即异波段图像之间的匹配可转化为以下两者的匹配过程，这里使用IR表示红外图像，V表示可见图像。

式中IIR和IV分别为红外和可见图像，R为两者匹配系数。

从图2可以看到两种图像提取高频信息后的相同点。

对于不同光学系统异源图像来说，由于其成像条件不同，即使按照上面分析找到了两者在图像中的相同特征反应，但是由于这些相同特征已经因成像条件的差异发生了各种变化，包括旋转、缩放、透视，从而导致两种图像仍具有较大的区别，甚至截然相反(如两类传感器从两个相对的位置对同一场景进行不同方向的观察)。因此，为实现两者的配准，引入了基于高频特性的矢量模型。

图2 同一场景不同传感器在不同成像条件下的边缘图像Fig.2 Edge images in different conditions and variable sensors to a same scene

3 基于高频特性的矢量模型

这里以可见光图像为基准图像，提取高频信息，构建模板，用于与红外图像的匹配，如图3所示。以其中的立交桥为模板目标，利用常用的像素离散方法提取出边缘(多数不为单像素，且不连续)。另外由于光照等影响，这类边缘并不能完好地表达一个目标或场景，且图像中可能存在由于光线等因素引起的虚假边缘和并不作为重点的干扰边缘。

图3 可见光基准图像高频边缘信息提取Fig.3 Extraction of high-frequency edge information for visible base image

由于模板制备是不需要实时进行的，因此，引入矢量边缘，如图4(a)所示，采用若干分段并首尾相接的矢量集来表达图像中一个连续的边缘线条，即:式中P1，P2，…，Pn为矢量关键点，N为点集合。

这组n个矢量沿着该条图像边缘，共同构成了一条完整的边缘，这一矢量边缘可由人工控制调整，因此，可以保证这种矢量边缘能够更好地体现原图像中这条边缘的真实走向。

图像中所有可作为模板的矢量线条构成了基于这个基准图像的矢量模型，即:

式中C即为各矢量组成的矢量模型。

这种矢量边缘模型实际上是由一系列有向线段构成，以矢量端点和方向的形式存储在计算机中，图4(b)所示为利用以上方法构建的基准图像矢量模板。

图4 矢量模板Fig.4 Vector template

与普通边缘图像模型相比，矢量边缘模型具有明显优势，除以上提到的因素外，其它主要在于:

(1)由于模型全部由矢量构成，因此，可进行无损的各种模板数学变换，如旋转、透视等;

(2)矢量模板的表达方式数据量小，可实现低容量存储和快速运算;

(3)矢量模型模板的缩放不会发生类似点阵边缘图像的不连续阶梯现象。

4 矢量模型实验

4.1 实验条件

为了验证本文所提到的矢量模型在异源图像间匹配的有效性，选取了若干场景，同时进行红外和可见光图像采集。采集过程中，分别从不同的角度获取可见和红外场景图像，并记录获取时的参数数据，包括镜头焦距、距离、相机参数、经纬度信息等，以用于实时模型变换和匹配。

4.2 矢量模型变换实验

从可见光基准图中提取出矢量模型后，按照与红外图像对应的视场参数、观察角度等信息，对矢量模型进行实时的变换，图5所示为变换的结果。

图5 矢量模板及其依据实时视角参数的变换实验Fig.5 Transform experiments of vector models according to real-time parameters

从矢量模型变换实验结果可知，矢量边缘模型在进行几何视角变换时，能够较好地保持与原图像的一致性，而不会发生与点阵边缘类似的边缘不平滑现象。

4.3 矢量变换模型与红外图像的匹配实验

图6为利用该方法在可见光模板图像中提取构建矢量边缘模型，并通过实时视角变换，与实时红外图像进行匹配的实验。实验中采用Canny算子提取实时红外图像的边缘信息，通过视角变换后的可见光矢量模型图形与实时红外边缘图像进行基于特征的匹配，实现场景中目标的自动搜索。

图6 采用矢量模板在实时红外图像中实现目标自动捕获Fig.6 Auto target acquisition of infrared image based on vector model

图6 (e)显示了目标搜索的结果，与预期目标定位点完全一致。

5 结论

红外和可见传感器对场景高频反映的相似图像特性，可以用来进行异源图像之间的特征匹配，实现图像配准;基于预定义模板，也可在实时场景中实现自动目标搜索。但点阵图像和图像边缘特性会导致自动提取的边缘在进行此类应用时具有较大的不足。本文提出一种基于矢量边缘的模型构建方法，较好地解决了不同光学系统、不同成像条件、不同获取方向的异源图像之间相似特性的匹配。此方法可应用于基于光学图像的目标自动搜索系统中，具有较高的实用性。

参考文献：

［1］倪国强，刘琼.多源图像配准技术分析与展望［J］.光电工程，2004，31(9):1-6.NI G Q，LIU Q.Analysis and prospect of multi-source image registration techniques［J］.Opto-Electronic Eng.，2004，31(9):1-6.(in Chinese)

［2］刘婧，孙继银，朱俊林，等.前视红外景象匹配制导基准图生成研究［J］.微计算机信息，2007，23(10):279-281.LIU J，SUN J Y，ZHU J L，et al..Study on the generate of reference image on the guidance of FLIR scene matching［J］.Microcomputer Information，2007，23(10):279-281.(in Chinese)

［3］李俊山，李旭辉，罗蓉，等.不同传感器图像的景象匹配区选取准则研究［J］.微电子学与计算机，2007，24(1):210-213.LI J SH，LI X H，LUO R，et al..Research on selection criterion of scene matching field for different sensors［J］.Microe-lectronics ＆Computer，2007，24(1):210-213.(in Chinese)

［4］RIZVI S A，NASRABADI N M.Fusion of FLIR automatic target recognition algorithms［J］.Information Fusion，2003，4(4):247-258.

［5］张天序，曹杨，刘进，等.基于不变矩的前视红外图像机场目标识别［J］.华中科技大学学报(自然科学版)，2007，35(1):17-19.ZHANG T X，CAO Y，LIU J，et al..Recognition of airfields in forward looking infrared image sequences by affine moment invariants［J］.J.Huazhong University Science and Technology(Nature Science)，2007，35(1):17-19.(in Chinese)

［6］刘琼，倪国强，周生兵.图像配准中几种特征点提取方法的分析与实验［J］.光学技术，2007，33(1):62-67.LIU Q，NI G Q，ZHOU SH B.Experiments and analysis of several feature extraction methods for image registration［J］.Optical Technique，2007，33(1):62-67.(in Chinese)

［7］赵鹏，浦昭邦，张田文.一种新的红外与可见光图像融合与跟踪方法［J］.光电工程，2005，32(2):37-40.ZHAO P，PU ZH B，ZHANG T W.Fusion and tracking for IR and visible images［J］.Opto-Electronic Eng.，2005，32(2):37-40.(in Chinese)

［8］张天序.成像自动目标识别［M］.武汉:湖北科学技术出版社，2005.ZHANG T X.Atomated Recognition of Imaged Target［M］.Wuhan:Hubei Science and Technology Press，2005.

［9］党宏涛，张胜修.光学前视在巡航导弹地形跟踪中的应用与仿真［J］.弹箭与制导学报，2007，27(2):71-73.DANG H T，ZHANG SH X.Application and simulation of optical forward vision system for cruise missile's terrain following［J］.J.Projectiles，Rockets，Missiles and Guidance，2007，27(2):71-73.(in Chinese)

［10］谭皓，王金岩，沈春林，等.巡航导弹中制导阶段航迹规划算法［J］.南京航空航天大学学报，2005，37(1):1-5.TAN H，WANG J Y，SHEN CH L，et al..Trajectory programming algorithm for cruise missile guidance［J］.J.Nanjing University Aeronautics＆Astronautics，2005，37(1):1-5.(in Chinese)

［11］魏伟波，芮筱亭.精确制导技术研究［J］.火力与指挥控制，2006，31(2):5-10.WEI W B，RUI X T.Study on precision guidance technology［J］.Fire Control and Command Control，2006，31(2):5-10.(in Chinese)

［12］杨树谦.精确制导技术发展现状与展望［J］.航天控制，2004，22(4):17-20.YANG SH Q.Development and prospect of PGM technology［J］.Aerospace Control，2004，22(4):17-20.(in Chinese)

［13］王甜，王建民，杨树谦，等.红外图像自动目标识别技术发展［J］.飞航导弹，2005(11):45-47.WANG T，WANG J M，YANG SH Q，et al..Development of IR image auto target recognition technology［J］.Winged Missiles J.，2005(11):45-47.(in Chinese)

［14］杨卫平，沈振康.红外成像导引头及其发展趋势［J］.激光与红外，2007，37(11):1129-1133.YANG W P，SHEN ZH K.Infrared image seeker technique and its development trend［J］.Laser＆Infrared，2007，37(11):1129-1133.(in Chinese)

［15］FLEEMAN E L.Technologies for future precision strike missile systems introduction/overview［C］.RTO SCI Lecture Series on“Technologies for Future Precision Strike Missile Systems”，Atlanta，USA，23-24 March，2000.

［16］RIEDL G，ASSEL M，FENDT A，et al..IR focal plane array seekers for ground-to-ground and air-to-ground missiles［J］.SPIE，2001，4369:201-209.