一种汽车全景环视影像匀色方法

谢绍川

（同致电子科技（厦门）有限公司 福建省厦门市 361000）

1 引言

汽车全景环视影像，英文全称为Around View Monitor，简称为AVM系统。AVM系统首次是在日本诞生，由多家车企（例如马自达车企、日产车企）和电子公司（例如松下电工、三洋电机）合作研发并应用在汽车上。AVM系统一般是在汽车低速（根据需求设置速度范围，正常取0～15km/h）时，通过汽车四周（前后左右）安装的四路鱼眼摄像头实时采集视频帧，然后根据事先的标定矩阵，对四路视频帧进行透视变换、无缝融合等图像处理，最终拼接出完整的车身周围360度全景鸟瞰实时视频，并显示到中控显示屏幕上[1]。目前伴随市面上汽车保有量日渐增多，驾驶道路拥挤、停车难度大等问题日渐突出，可辅助驾驶员实时观测车身全景的AVM系统受到广大消费者的欢迎，为众多新手驾驶员带来福音。

对于实时采集视频的四路摄像头而言，受场景和光照等因素影响，采集得到的四路视频帧难免会在色彩上存在一定的差异，故在对四路视频帧进行融合之前，需要做四路视频帧间的色彩一致性校正（也称匀色处理），从而保证融合后全景影像的平滑过度。目前对于匀色处理的研究，主要使用的方法有直方图匹配法、线性变换法和基于统计量法，其中基于统计量法因其不需过于复杂繁琐的计算，很适合应用到嵌入式的汽车电子上。

基于统计量法中有一个经典的算法：Wallis 滤波器[2][3]，很多学者都在这一方面进行深度研究[4][5]，且取得了不错的匀色效果。将该算法应用到AVM系统存在一个问题：不存在目标基准影像。针对此问题，本文提出了一种基于YUV色度空间色偏估计方法，根据色偏估计结果，由无色偏的视频帧组成基准影像库，然后进一步采用基于YUV色度空间的Wallis滤波器，完成匀色处理，取得了不错的效果。

2 汽车全景环视影像介绍

如图1所示，详细剖析了AVM系统的组成框架，一般而言，该系统主要由四路鱼眼摄像头组成，分别安装在车身前保险杠、左后视镜、右后视镜及后备箱位置，各摄像头独立工作实时采集视频帧，并传输到AVM主机，再通过嵌入式图像相关技术处理，合成出实时全景影像显示到中控显示屏上，方便驾驶员无盲点地观察车身状态和路况。由此可见，AVM系统为拥挤路况、复杂泊车驾驶提供了很好的辅助作用。

如图2所示，简明概要地介绍了AVM系统框架，系统主要由CPU和GPU两部分组成：

（1）CPU（Host）负责整个YUV视频流的通道逻辑，将采集到的四路视频帧送入GPU（Device）端，并再从GPU获取融合拼接后的视频帧，显示到中控显示屏上；

图1：AVM组成框架

（2）CPU（Device）承载了整个AVM系统的图像处理部分，结合汽车事先标定的变换矩阵，对四路视频帧进行拼接区域截取、透视变换，然后进行匀色匀光处理，最后带入汽车事先标定的拼接矩阵完成无缝融合，得到全景影像视频。

本文介绍的匀色方法就是图2“匀色匀光处理”中的一部分，处理过程完全是基于YUV色度空间。

3 基于YUV色度空间的匀色方法

3.1 视频帧色彩差异

对于AVM系统的四路独立鱼眼摄像头，它们实时拍摄的场景是千变万化的，由此带来的色彩是难以时时刻刻保持完全一样[6]。虽然目前摄像头都自带自动白平衡的功能，但汽车车身是一个大体积物体，车身结构也较为复杂，各角度的自然光变化、摄像头拍摄角度的差异及拍摄场景的复杂性都可能导致自动白平衡出错，进而造成四路视频帧色调存在差异。造成视频帧色彩差异的原因可主要归纳为以下几种情况：

其中，E1代表昼间向阳面和阴影面光照差异带来的色彩不一致，不同光照条件下，路面反射的光谱特性会有所不同；E2代表夜间各种路灯和各种车灯等不同色温光源带来的色彩不一致；E3代表实际路况中不同成像场景带来的色彩不一致，例如路边大面积绿植。

由于AVM系统的全景影像来自于四路视频帧拼接而成，上述情况存在的色彩不一致如果没有得到很好的修正，最终的全景影像就会存在色彩跳跃明显，过渡顿挫感强的问题。为了呈现较好的效果，匀色处理至关重要，经过较为妥当的匀色处理之后，全景影像所包含的四路视频帧拥有相近的图像色彩属性，进而让影像更符合人眼实际所见的视觉效果。

表1：匀色结果效果统计

图2：AVM系统框架

3.2 基于YUV色度空间的色偏估计

对四路视频帧进行匀色处理之前，为避免一些无用的步骤，并为下一步的处理做准备，需要首先进行色偏视频帧的检测。通常所用的色偏检测算法有很多种，归结起来主要是：Gray-world算法[7]、White-patch算法[8]以及基于Lab色度空间的检测方法[9]。Grayworld算法和White-patch算法的前提都是对图像进行一定程度的假设，因此假如场景超出假设范围，错误的检测结果就在所难免，而基于Lab色度空间的检测方法以颜色的分布情况作为考量，充分利用颜色的矢量相关性，因此较不受限于场景。本文借鉴基于Lab色度空间的色偏检测算法，提出了基于YUV色度空间的色偏检测算法：从YUV视频帧中分离出色度分量U、V，然后绘制二维色度直方图f(u,v)进行分析：

图3：正常视频帧与色偏视频帧的二维色度直方图

（1）假如视频帧无色偏，二维色度直方图只会存在单峰值或者不存在峰值，且如果存在单峰值，该峰值的位置距离中性轴位置（中性轴是u=128，v=128）很近；

（2）假如视频帧存在色偏，二维色度直方图的峰值数量较多，且分布分散较为分散，比较大的峰值位置距离中性轴位置都比较远。

如图3所示，对视频帧进行拼接区域的截取，然后绘制二维色度直方图，视频帧的色偏程度与峰值位置距离中性轴位置的值大小正相关，即峰值位置距离中性轴位置越远，色偏的程度越大，反之则色偏程度越小。

基于YUV色度空间的色偏估计可用等价圆进行量化分析，如以下公式所示：

公式中，f(u,v)代表了二维色度直方图，而k为色度分量u或v，μk代表对u轴或v轴的积分。最终等价圆的圆心C和半径σ可以表示为：

由公式（3）所示，可以得到等价圆到轴心的距离以及视频帧的色偏程度：

其中，μ代表等价圆圆心到中性轴轴心的距离，D代表等价圆和中性轴轴心之间的距离，Dq代表等价圆和中性轴轴心偏离的程度，Dq值越大则两者的偏离程度越大。取一定的阈值，判断D和Dq与阈值间的大小关系，就可以判定出视频帧是否色偏。

3.3 经典Wallis匀色处理

Wallis匀色处理实际上相当于使用一个Wallis滤波器进行线性变换：先选定基准影像做为调整的目标，然后分别统计待校正影像和基准影像各自像素值的均值和标准差，最后通过Wallis滤波器，将待校正影像的统计值映射到与基准影像近似相等，如此，便完成了匀色处理。Wallis滤波器的变换公式为：

公式（5）中，f(x,y)代表经过Wallis滤波器处理后影像在(x,y)处的像素值，g(x,y)代表待校正影像在(x,y)处的像素值，r1和r0则分别是滤波器中的乘性和加性系数，它们分别为：

公式（6）中，mg和Sg分别代表了待校正影像的像素值均值和标准差，而mf和Sf则分别代表基准影像的像素值均值和标准差，另外的c和b分别是像素值标准差和像素值均值的扩展常数，它们的取值范围都是[0,1]。经典的Wallis滤波器取c=1，b=1，所以公式（5）可以写为：

公式（7）就是经典的Wallis滤波器，当待校正影像和基准影像的像素值均值和标准差一样时，滤波器的变换将不会对待校正影像产生任何的改变。

3.4 匀色方法实现原理

如图4所示，把经典的Wallis滤波器应用到YUV色度空间中，结合基于YUV色度空间的色偏估计，实现汽车全景影像匀色处理。处理的过程如下：

（1）基于YUV色度空间的色偏估计，建立基准影像库：

1.接收到四路YUV的视频帧；

2.根据汽车事先标定的变换矩阵，对输入的四路YUV视频帧分别做拼接区域的截取；

3.对截取拼接区域后的四路视频帧分别绘制UV二维色度直方图；

4.根据3-4的公式计算视频帧色偏程度，小于阈值就判定为无色偏，计入基准影像库；

图4：基于YUV色度空间的匀色处理

图5：试验1—四路视频帧及匀色处理前后的全景影像

图6：试验2—四路视频帧及匀色处理前后的全景影像

5.集合所有无色偏的视频帧，建立基准影像库。

（2）基于YUV色度空间的匀色处理，完成四路色彩一致性的校正：

1.判断基准影像库中的视频帧数，存在视频帧才进行匀色处理；

2.统计基准影像库中所有视频帧合起来的U、V标准差和均值，做为Wallis滤波器的基准目标值；

3.分别统计四路视频帧的U、V标准差和均值；

4.在U、V色度上分别应用Wallis滤波器，根据3-7的公式完成四路视频帧匀色处理。

4 试验结果及分析

图7：试验3—四路视频帧及匀色处理前后的全景影像

4.1 试验结果主观评价

本文选取了三组典型色彩不一致的四路视频帧进行试验，通过图5～7可以明显看出经过匀色处理后的全景影像明显解决了四路色彩不一致的问题。

4.2 客观量化评价

匀色处理能够让全景影像的整体色调过渡变得均匀，所以本文对经过匀色处理和没有经过匀色处理的全景影像做U、V色度空间的标准差和均值统计，做为客观量化评价指标，标准差越低，则影像的色调过渡越均匀，均值越接近中性值128，则影像的色偏程度越低。如表1所示，三个试验均可以看出，匀色处理后全景影像的色彩明显比匀色处理前的更趋于一致，与主观效果评价结果相符。

5 结束语

本文结合Wallis滤波器的特点，提出以基于YUV色度空间的色偏估计为判断方法，建立基准影像库，再应用Wallis滤波器到YUV色度空间中，完成匀色处理。经过多组试验，证明该方法有效地解决了汽车全景环视影像的色彩过渡不均匀问题，同时，基于YUV色度空间契合了汽车嵌入式电子中视频帧的色彩制式，在实际应用中能够省略不必要的色彩空间转换步骤。