基于多项式的图像畸变校正模型及抗混叠综述

姚俊宏，曾静，胡紫微

（四川大学计算机学院，成都610065）

1 简介

1.1 镜头畸变

摄影机或相机的成像过程实质上是几个坐标系的转换，首先空间中的一点由世界坐标系转换到摄像机坐标系，然后再将其投影到成像平面（图像物理坐标系），最后再将成像平面上的数据转换到图像平面（图像像素坐标系）。从相机捕获的所有图像代表三维空间在有限的二维成像平面上的不完美投影。有许多众所周知的错误来源导致这种不理想的投影表示。其中包括设备噪声、有限的传感器元件尺寸、有限的积分时间和透镜形状效应等。我们在生活中也常常能见到这些因为畸变导致变形的图像，他们与我们肉眼看到的图像会有一定的区别，受很多因素的影响，例如焦距、拍摄角度、镜头本身的透镜特性等，会有不同程度的视觉区别，最常见变化最大的地方往往是图形的四个角部分，变化最小的地方一般是图像正中心的部分，这种视觉效果在鱼眼镜头的相片中最显眼。

还有很多在视觉效果上看起来并不是很大区别的图像，但在对图像中物体的几何位置精度要求很高的计算机图像应用领域中，可能会因为这些视觉上不明显的镜头失真，对最终的图像分析失去应用价值。现在，有许多图像处理或分析应用程序不需要校正轻微的镜头失真，也不必担心图像分辨率的任何合理损失，例如，涉及图案识别、边缘检测或图像表示的图像处理和分析应用程序。但在图像匹配领域中，即使适度的镜头失真也会严重影响可达到的配准精度，这就有可能导致两个完全相同的图像，匹配之后的精度显示很低，会识别为完全不同的两个东西。而镜头的畸变分为径向畸变和切向畸变两类：

（1）径向畸变与畸变模型：径向畸变是由于镜头自身凸透镜的固有特性造成的，产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲。畸变沿着透镜半径方向分布，主要包括桶形畸变和枕形畸变两种。桶形畸变又称桶形失真，它是由镜头引起的成像画面呈桶形膨胀状的失真现象。桶形畸变其实并不会影响成像的清晰度，但却影响成像后的位置精度，这会给后续的图像分析和图像测量带来误差，甚至会导致误判。而由镜头引起的成像画面呈枕形凹陷状的失真现象即为枕形失真。图2中的（a）和（c）两种图形对应于镜头的桶形失真和枕形失真。

图1 鱼眼镜头相片

图2 镜头失真

（2）切向畸变与畸变模型：切向畸变是由于透镜本身与相机传感器平面（成像平面）或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。因此本文不考虑此种畸变的影响。捕获的图像中必须校正的两个典型失真就是以上提到的桶形失真（仅在变焦镜头的广角端发生）和枕形失真（仅在变焦镜头的望远端）。因此分析对这两种畸变的校正，以及进一步的优化。

1.2 映射适应性卷积

无论桶形畸变还是枕形畸变，畸变都会使图像内容产生失真。这就需要对图像进行变换重采样，解决图像失真问题。根据像素的离散性、图像自身有限性和其带宽的无限性，图像变换重采样过程必然会产生混叠。

根据奈奎斯特采样定律，对有限带宽的连续信号进行采样，当采样频率大于原始信号最大频率的2倍时，可以完整保留原始信号的信息[1]。当采样频率变小，信号就会发生混叠。而图像的采样和量化是数字图像获取、存储中的必要步骤。采样中发生混叠，即高于采样频率一半的高频信号被映射到信号的低频部分，与原有低频信号叠加，对信号的完整性和准确性产生影响。图像信号的混叠其实也是必然存在的，只在于发生混叠的程度大小。因为原始图像本身是一个离散的二维信号，它的傅里叶变换必定是一个带宽无限的信号。无论采样率有多大，从理论角度出发，图像重采样过程必定会产生混叠现象，所以在对图像重采样前进行抗混叠处理，这是一个必要的流程。

图3 图像混叠

图像混叠会引起图像在一定程度上的失真。利用传统的高斯函数进行抗混叠预处理，可以有效解决普通图像的混叠问题。但是对于已经发生畸变的图像，传统抗混叠方法的有效性大大降低。其实抗混叠的目的就是防止图像或信号的高频混入低频中，所以抗混叠的主要方向有两个：①增加采样频率。从傅里叶变换的角度考虑，增加采样信号中傅里叶频率分布函数的周期，当周期增大后所拉开的距离大于两倍的奈奎斯特采样频率时，就不会再产生重叠，就可以达到消除混叠的效果。②对信号中的高频成分进行抑制。通过抑制图像或信号中的高频成分，让产生混叠的源头即高频信号成分得到抑制，也就可以达到消除混叠的目的。但上述两种抗混叠的方法，第一种是不适合二维的图像信号的。因为我们实际处理的图像是一个带宽无限的信号，而以无限大的采样频率进行重采样是不科学的事情。所以，第二种对图像信号进行低通滤波才是图像抗混叠的常用手段。而抑制图像高频成分，一般通过卷积的方式，对图像信号实行低通滤波。

Mapping Adaptive Convolution，即映射适应性卷积，文献[2]提出了自适应单应透视变换的卷积理论，其在图像进行单应透视变换时，利用抗混叠卷积算子对其进行预处理。使用高斯函数对图像进行低通滤波看混叠操作。

其中，G(x)为二维的高斯函数，*为卷积计算，I(x)为二维的信号或图像。

在图像发生形变的条件下，其对应的卷积核也应该发生了改变。在这种情况下，如果仍用图像的传统高斯函数进行卷积则无法达到图像有效抗混叠滤波的效果。作者指出在非线性单应变换条件下抗混叠卷积核的形式和范围也发生了改变，提出了自适应单应形变的抗混叠卷积方式。这也为我们考虑在畸变校正情况下的抗混叠处理提供了更好的方法，让最终的校正效果达到最佳，使其适合要求高精度标准的图像应用中，实现有效的校正优化。

2 畸变模型

2.1 典型模型

关于图像畸变模型，在光学领域有一个众所周知的校正模型，为一个无穷级数：

但值得注意的是，虽然以上的模型可以达到畸变校正的效果，但是在校正过程中，会伴随着图像的缩放，我们可通过在公式（3）中代入值计算并画图看到缩放的效果：我们在区域[-1,1]×[-1,1]上建立边长为2的正方形，通过公式（3）可计算得出当k=0.1时转换得出的整体较大区域和k=-0.1时转换为的整体较小区域。

图4 典型模型

通过上述图像可明显看出在典型畸变校正模型中，当k＜0时，会导致整个图像区域整体缩放，类似于镜头失真的桶形畸变；而k＞0时，会导致整个图像区域的整体放大，类似于镜头失真的枕形畸变。

而我们知道图像在缩放的过程中，都有可能导致图像分辨率的缺失，缩放必然伴随着对原图像的重采样，在重采样的过程中，对于图像会造成一些不可必要的损失，导致最后得到的校正后图像，虽然在肉眼上看来，没有太大的区别，但图像中的一些关键像素已经产生不可逆的缺失。同时，在很多畸变校正过程中，都不会考虑到诸如混叠等影响的产生，这些影响其实已经对图像产生了二次畸变，如果影响不大，还可以根据应用情况进行一定的忽略，但是如果得到的校正图像产生了明显的混叠，应该考虑消除其带来的错误影响。

2.2 新模型

另一种提出的新模型为下面的等式，它相对于典型模型具有更好地适应缩放的特性，也是在无穷级数取一阶的情况下讨论：

同典型模型，我们也在区域[-1,1]×[-1,1]上先建立边长为2的正方形作为参照，然后对比模型转换后的结果，仍取k=0.1和k=-0.1时作为比较。

图5 新模型

使用新的模型，可以看到相对于典型模型，与原正方形的改变更小，现在是十字形方向上的坐标相对于原图像都不会进行改变，这也就更加有利于对图像畸变的校正，同时可能产生的混叠也会更小，方便后续的校正优化，以得到更好的校正效果。

3 结语

关于图像由于镜头畸变导致的问题，在计算机图像处理、计算机视觉、图像匹配等研究领域中，都是广泛存在的问题，业内也提出了针对于特定情况下的畸变校正，但不同的图像情况，涉及的畸变情况千变万化，并没有一个针对全部畸变情况的处理方法。本文介绍了两种畸变校正的模型，一种是通用的模型，基本的校正都是根据此模型进行分析，但其具有一定的弊端；第二种有一定的优化效果，在某些图像处理中具有实际的应用意义。最后本文给出自适应性卷积，针对图像畸变校正过程中大多都会忽略的混叠问题，通过卷积操作，实现抗混叠的效果，这对于畸变校正的有效性提供了帮助，让校正的效果能够变得更好，不会造成二次的畸变。