可见光与红外CPCT彩色图像融合研究与实现

陈继红++刘素真

摘 要： 研究了红外和可见光图像融合、融合质量客观评价以及融合目标跟踪三个方面。针对当前基于颜色传递的彩色图像融合中融合图像缺乏颜色恒常性的问题，着重分析研究颜色传递过程中参考图像如何影响融合效果，并提出基于恒参数颜色传递（CPCT）彩色图像融合的改进算法。然后，分析了彩色融合图像的客观评价方法，对各种客观评价指标与主观评价的一致性进行对比总结。最后，以目标跟踪作为红外和可见光图像融合应用，针对红外小目标跟踪出现的相似背景干扰问题，结合基于CPCT的图像融合算法，研究了基于CPCT彩色融合图像的粒子滤波目标跟踪算法。

关键词： CPCT； 彩色图像融合； 融合评价； 粒子滤波； 融合跟踪

中图分类号： TN911.73?34； TM417 文献标识码： A 文章编号： 1004?373X（2017）09?0005?05

Abstract： The infrared image and visible?light image fusion， objective evaluation of fusion quality and fusion target tracking are studied. Since the fusion image in the color image fusion based on color transfer lacks of color constancy， the fusion effect influenced by the reference image in the color transfer process is analyzed and studied emphatically. A color image fusion improved algorithm based on constant parameter color transfer （CPCT） is proposed. The objective evaluation method of the color fusion image is analyzed. The consistency between each objective evaluation index and subjective evaluation index is contracted and summarized. The target tracking is deem as the application of the infrared image and visible?light image fusion. Aiming at the similar background interference existing in the infrared small target tracking， the image fusion algorithm based on CPCT is combined to study the particle filtering target tracking algorithm based on CPCT color image fusion.

Keywords： CPCT； color image fusion； fusion evaluation； particle filtering； fusion tracking

0 引 言

在信息化武器时代，各国军事科研人员关注的焦点是实现更快、更狠、更准地打击军事目标。由于自身成像的缺陷，在恶劣的战场环境中单一图像传感器很难满足作战信息全面获取的要求。因此，融合多种图像传感器的互补信息，去除冗余信息，实现1+1>2的战场信息获取目的成为当前的研究热点[1]。红外与可见光图像融合在夜间作战、无人机侦察、自主导航、车载预警系统和智能安防等多方面得到了广泛的应用。

1 基于CPCT的彩色图像融合算法

1.1 基于小波变换的灰度融合算法

针对红外与可见光进行小波多分辨率图像融合，取不同的小波基、分解层数、低频高频不同的融合规则[2]，融合结果灵活多变，小波分析融合过程如图1所示。

将图像分为三个水平、竖直、对角线的高频和一个低频图像是小波分解的方法。多层的小波分解即是保留各级的高频信息，只对每层小波分解得到的低频图像进行小波分解。

1.2 经典的颜色传递图像融合算法

基于颜色传递的彩色图像融合方法就是将颜色传递的概念引入图像融合中[3]，其融合流程如图2所示。

图3给出了针对同一目标图像，三组不同参考图像颜色传递效果对比。第一个参考图像与目标图像颜色场景等差别不大，颜色传递后加强了目标图像的对比度和色彩丰富度，后两个参考图像与目标图像差别较大，颜色传递结果存在一定的颜色失真，即颜色传递效果的优劣有赖于参考图像与目标图像场景的一致性。

1.3 恒参数颜色传递融合算法

重点研究颜色传递中参考图像参数变化对颜色传递效果的影响，通过对参考图像参数的统计分析和融合效果主客观评价，提出的图像融合算法是基于恒参数颜色传递的，且得出参考图像参数的设置规律[4]。

关于图像亮度的信息通过通道表示，而关于图像色彩的信息通过通道来表示。恒参数颜色传递规律是根据对三个通道的方差、均值设置规律分析得到的：

（1）为通道的均值，方差1 200，且顏色传递结果细节信息和图像亮度保留良好。

（2） 图像颜色所对应的由的取值决定，且分别对应于黄、绿色、蓝和紫红。融合图像得到的颜色丰富度较低是由均小于6造成的，图像的自然感下降是由均大于20造成的。与此同时，在所得的结果过大的情况下，对应的颜色协调性有一定程度的降低，在0～8之间取值，并且在绝对值增加的情况下，为了保证图像的自然感，应适当减小。

（3） 600～1 000是的取值范围。的大小关系会影响融合结果的颜色，若结果偏绿；若结果偏红；取值在0～400范围内较合适，否则取值过大图像的自然感会有所降低。

2 彩色融合图像颜色客观评价指标

早期应用较广的一个颜色客观评价指标颜色丰富度（colourfulness）定义了七级颜色丰富程度，让被试者观察10组场景84幅测试图片，得出主观评价结果，对比设定的一些描述颜色丰富度的客观评价指标，分离客观评价指标中与主观评价结果相关性高的指标评价图像颜色丰富度[5]：

式中：与主观评价的相关性高达95.3%；

。

研究人员提出了彩色性指标（CCM）与颜色丰富度性质相似，此外提出了颜色自然性指标（CNM），CCM中定义了色差梯度的概念，CNM基于灰色关联理论，但计算中需要有彩色参考图像。多数彩色图像评价指标是在CIELAB空间中设计，以下首先简单地介绍CIELAB颜色空间。

色调、亮度以及饱和度是人眼感知颜色的三种属性， HSV颜色模型也是基于此创建的，色调（H）、饱和度（S）以及亮度（V）是HSV颜色模型中的有关参数。虽然人眼对颜色的感知和HSV颜色模型基本一致，但是在进行定量评价时， CIELAB颜色空间[6]应用更为广泛，这是因为CIELAB颜色空间是人为制定出来接近人类视觉且具有设备无关性。其中，人眼对亮度的感知由分量表示，通过不同和分量的输出色阶使颜色平衡更加精确。

CIELAB颜色空间是CIEXYZ[7]的非线性变化，和RGB空间转换的过程如下所示，式（2），式（3）表示RGB与CIEXYZ之间的变换，式（4），式（5）表示CIELAB与CIEXYZ之间的变换。

2.1 实验结果小结

颜色丰富度评价指标在一定程度上能用于评价彩色融合图像色彩的丰富程度，但与主观评价结果存在一定偏差，该指标对颜色具有一定的偏向性。色差梯度指标过大，图像颜色协调性降低，过小则颜色丰富度不高。总之，定量分析融合图像颜色丰富度、多样性和协调性比较困难。基于融合任务要求，构建无参考图像的彩色融合图像质量客观评价指标（体系），应从融合图像从源图像获取感知信息量、融合图像自身质量和融合图像颜色自然感及协调性三个方面考虑，实现与主观评价保持较好的一致性还有待进一步的研究。

3 基于融合的粒子滤波目标跟踪

3.1 改进粒子滤波红外目标跟踪步骤

依据以上分析，基于灰度和运动特征融合的粒子滤波跟踪算法主要分初始化、粒子预测、更新、重采样和目标位置估计等五个步骤，改进算法流程图如图4所示。

图4中表示序列帧总数，基于灰度和运动特征融合的粒子滤波跟踪算法具体步骤如下：

（1） 初始化：跟踪目标是通过手动的方式进行选择，选择完目标后对目标位置进行确定，以其为中心，目标两倍大小区域初始化粒子集，建立目标灰度核函数直方图；

（2） 预测：通过对目标运动模型的研究，用新的采样点更新粒子集；

（3） 更新：以粒子位置坐标为中心，计算候选区域灰度核函数直方图和区域运动特征，融合灰度和运动特征计算粒子集权值；

（4）重采样：通过对权值的归一化得到，并对的残差进行重采样 ；

（5） 目标位置估计：由重采样结果估计目标位置，即

（6） 判断流程结束与否，如果没有结束则通过返回步骤（2）。

3.2 基于CPCT彩色融合图像的粒子滤波目标跟踪算法

不同于红外目标跟踪，基于CPCT融合的图像是彩色图像，可以结合目标的颜色和亮度特征建立目标模型，图5给出了一幅融合图像及其YUV和HSV颜色空间各分量图。HSV颜色空间是常用的彩色目标特征描述空间，常用分量构成目标颜色直方图，而基于CPCT图像融合算法中伪彩色图像生成及颜色传递过程均是在YUV颜色空间，对比图5（d）～（f）和图5（g）～（i）可以看出，YUV空间各分量中目标特征更细腻。

将目标图像转化到YUV空间，建立Y?U?V目标直方图。假设目标区域由个像素点组成，定义目标区域直方图为：

式中：为归一化常数；分量的直方图级数用表示；为0?1函数；当像素点的三个分量分别属于级数时，对应的，否则为0。基于CPCT彩色融合图像粒子滤波目标跟踪流程图如图6所示。

粒子的初始化、更新、权重计算、目标位置估计与3.1节类似，不同之处有两点：一是初始化和跟踪过程中所用的图像均是红外和可见光图像基于CPCT融合算法所得的融合图像；二是目标特征为YUV空间的Y?U?V核函数直方图特征。

3.3 实验结果小结

序列图像中存在相似目标干扰，图7依次为经典的Meanshift、基本的粒子滤波、基于特征融合的粒子滤波和基于CPCT彩色融合图像粒子滤波四种跟踪算法的跟踪效果。

定义跟踪误差为跟踪算法中与标定的目标质心之间的欧式距离，即。

对比四种算法的跟踪效果与跟踪误差，相似目标干扰对粒子滤波跟踪算法影响不大，其中经典的Meanshift跟踪算法的跟踪稳健性最差，当出现相似目标干扰时会出现目标丢失的问题；当相似目标靠近跟踪目标时，经典的粒子滤波和基于特征融合的粒子滤波跟踪算法会受到一定干扰，质心位置有所偏移，基于CPCT彩色融合图像粒子滤波跟蹤算法受相似目标干扰影响最小。

四种算法90帧平均跟踪误差依次为8.674 8，2.291 6，1.788 2和1.524 4，跟踪耗时依次为5.001 4 s，6.001 2 s，8.670 4 s和8.346 4 s。可以看出，基于特征融合和基于CPCT彩色融合图像的改进粒子滤波跟踪算法与基本的粒子滤波算法相比，虽然降低了跟踪实时性，但是跟踪的精度得以提高。

基于特征融合和基于CPCT彩色融合图像的粒子滤波跟踪算法能有效地处理复杂环境中相似目标、相似背景干扰等问题，与基本的粒子滤波算法相比，虽然降低了实时性，但跟踪的准确性和鲁棒性得以提高，尤其是遇到相似干扰时，能实现稳健的目标跟踪。

4 结 论

红外与可见光图像融合能充分利用两种传感器良好的互补特性，弥补单个传感器在复杂多变环境中目标丢失、场景信息不明确等引起观测失效的缺点。本文针对红外与可见光彩色图像融合及其应用进行研究。

针对经典的颜色传递图像融合中存在的计算复杂度高和颜色缺乏恒常性的问题，提出基于YUV空间恒参数颜色传递（CPCT）图像融合算法，使用YUV空间降低计算复杂度，通过对颜色传递过程参考图像参数分析实现融合图像的颜色恒常性。对彩色融合图像的颜色指标进行客观评价，针对红外目标跟踪中相似背景干扰的问题，提出基于灰度和运动特征融合的粒子滤波目标跟踪算法，对红外与可见光融合图像目标跟踪问题进行研究，使基于CPCT彩色融合图像粒子滤波跟踪算法得以实现。

参考文献

[1] 骆媛，王岭雪，金伟其，等.微光（可见光）/红外彩色夜视技术处理算法及系统进展[J].红外技术，2010，32（6）：337?344.

[2] 唐凤仙.基于图割框架的改进多层圖彩色图像分割方法[J].现代电子技术，2016，39（14）：112?115.

[3] 钱小燕，张天慈，王帮峰，等.局部颜色映射的彩色夜视算法[J].中国图象图形学报，2012，17（5）：689?693.

[4] 周渝人.红外与可见光图像融合算法研究[D].长春：中国科学院研究生院，2014.

[5] 高绍姝，金伟其，王岭雪，等.图像融合质量客观评价方法[J].应用光学，2011，32（4）：671?677.

[6] 徐中中，曲仕茹.新型可见光和红外图像融合综合评价方法[J].红外技术，2011，33（10）：568?573.

[7] 逄浩辰，朱明，郭立强，等.彩色图像融合客观评价指标[J].光学精密工程，2013，21（9）：2348?2353.

[8] 覃跃虎，支琤，徐奕.基于三维直方图的改进Camshift目标跟踪算法[J].现代电子技术，2014，37（2）：29?33.