Bayer模式图像复原技术的研究与发展

别业楠

1 引言

随着影像技术的迅速发展和广泛使用，彩色影像已成为人们日常生活和科学研究中一项重要的技术。目前，基于彩色图像的数字成像技术已被广泛应用于交通实时监控、安防系统、光学遥感、医疗监护、汽车立体倒车影像等多个领域。近十年来，国内外学者和产业界都对这一问题进行了深入的探讨。然而，彩色图像的捕捉过程极易受各种因素影响，导致图像质量出现不同程度的下降，还原降质图像的真实色彩对后续的图像重建工作至关重要。为了节省硬件成本和设计成本，大多数现代彩色数码相机都只配备了一个单传感器来获取图像。单传感器捕获的Bayer模式图像每个像素处只有R（红色）、G（绿色）、B（蓝色）3种颜色中的一种，要得到一副完整的彩色原始图像，需要对Bayer图像进行复原技术处理，复原技术算法的处理结果直接关系到彩色数字图像的质量，所以研究高效的复原技术算法，仍具有重要的实用价值。

2 Bayer模式图像及其应用

通常情况下，单个图像传感器捕获的图像是灰度图像，想要获得彩色图片则需要3个图像传感器，每个传感器对特定的波长敏感，用以测量3种颜色的分量，然后将3种颜色叠加在一起，合成一张拥有3种颜色的彩色原始图像，这是理想彩色图像的成像方法。然而，传感器的定位并不简单，传感器可以放置在一个平面上，进入相机的光线在每个像素中分开，并投射到每个光谱传感器上，这种解决方案成本高昂，并导致组件之间一些相位的延迟和占用3倍的储存空间。另一种方法则是将3个图像传感器堆叠在一起，例如Foveon相机的结构，但由于光线须穿透3层硅，导致曝光时间增加[1]。

因此，在实际应用过程中，出于对硬件和设计成本的考虑，大部分彩色数字照相机都是利用1个影像感应器来捕捉彩色影像中的各个象素。这种相机被称为单传感器数码相机，传感器部件一般为光电耦合部件（CCD），其传感原理依赖于光子撞击硅时产生的电子—空穴对，或者互补金属氧化物半导体（CMOS）有源像素传感器，其中传感器包含1个光电探测器和1个有源放大器来测量光的强度[2]。因此需要在传感器前面放置1层RGB有序分布的滤色器阵列（CFA），捕获RGB 3种颜色交叉排列的图像。

Bayer CFA滤色阵列格式发明于1976年，是目前最为常见且经典的1种滤色阵列[3]，它使用五边形网格对绿色带进行采样，而红色和蓝色采用矩形网格进行采样（如图1所示），每个2×2的阵列模块里有2个绿色滤色器，1个红色滤色器和1个蓝色滤色器，其中绿色滤色器处于对角线位置。由于绿色的光谱范围更加接近人眼的光谱响应波段，因此绿色滤波片的数量是红色和蓝色滤色器数量的2倍。此外，在人类的视网膜中心，也存在着一系列的锥形体细胞，这保证了重建后的彩色影像的清晰程度达到最高[4]。大多数数码相机都采用了这种结构，例如佳能EOS 500D、奥林巴斯E—450、Lumix DMC—FS12、FS62和FS42、索尼Alpha230、330和380等[5]。

3 Bayer模式图像复原技术

获得Bayer模式图像后，可以通过算法，重建图像采样点中缺失的颜色分量，得到三通道彩色圖片，这个过程就称作Bayer复原技术，具体流程如图2所示，其结果被称为重建图像或复原技术图像[6]。复原技术算法的优劣与彩色摄像机采集到的彩色图像的优劣有着密切的关系，同时还会对后续的摄像机进行图像处理。

Bayer格式图像的复原技术算法根据其色彩还原效果和算法复杂度大致可以分为4类：

①基于插值的复原技术算法

最邻近插值算法、双线性插值法[7]、三次插值法[8]等是发展初期常用的3种算法，此类算法运算速度较快，计算实现简单，可以用在实时性要求较高的系统中，但是由于忽略了不同颜色通道之间的相关性，样本色彩中的所有信息都没有被使用。其次，在图象的高频部分，采用双线性插值进行的平均运算，会产生不正确的色彩和模糊。

彩色图像复原技术中1个常用的假设是颜色分量之间的比率比颜色分量更平滑。在恢复技术中，要获得高品质的复原技术，必须充分考虑色彩信道间的相关关系。Wang等[9]提出了1种新的基于梯度校正的双线性内插算法，通过双线性内插来实现红、蓝2个点的插补，并通过红、蓝2种颜色的空间梯度来进行校正。但该方法存在着方向性差、边界模糊、虚影等问题。

沿边缘方向进行插值能够较好的改善边缘和拐角处的伪影，它是在双线性插值算法的基础之上发展起来的。根据边沿方向估计的不同，有许多种不同基于边缘方法的变体，这些算法使用梯度、拉普拉斯算子或雅可比矩阵作为水平和垂直边缘分类器，然后沿着选定的方向插值绿色图像。例如，Hibbard等人[10]利用一阶导数，对以取样点为中心的3×3区的绿色通道进行了纵向和横向梯度的计算，并依据梯度估计边缘方向。Laroche和Prescott[11]在采样点为中心的5×5区域内利用二阶偏导数作为梯度的近似值。而Chen等人[12]则利用相邻像素在8个方向上的相关性来加权插值。Kakarala and Baharav使用雅可比矩阵决定每个像素上插值的方向，计算要求相对较低，得到的图像很大程度上不受模糊和混叠的影响[13]。边缘方向性插值算法考虑了图像中颜色变化的区域和色彩边界的情况，因此较好解决了双线性插值中的问题，但该算法在图像的色彩变化密集区域会出现梯度算子方向性判断失误，容易在图像纹理密集区域出现失真。

为了对比多种插值算法的复原效果，可以选取多张彩色图像退化为Bayer格式图像。然后使用不同的插值算法对其进行色彩还原，并计算原始图像与复原图像的峰值信噪比（PSNR）如图3所示。

②基于频率域的算法

Alley等[15]指出，任意Bayer图案的图象可以用1个亮度成分和2个色度成分的结合来表达。Lavarene等人采用适当的调制和低通滤波器估计色度，然后重建亮度分量。通过从亮度的低频区域提取边缘信息，将局部自适应纳入估计中[16]。相反，Dubois建议使用互补的非对称滤波器估计色度，并引入并在此基础上采用最小二乘法来设计这类模型的滤光片[17]。Dubois后来把这个模型扩展到任何滤色器传感器模式[18]。

③基于小波理论的算法

这种方法要求对红、绿、蓝色、亮度等图像进行子频分析。Gunturk等人提出了一种新的投影方法替代交替投影算法，它把原来插值的红、绿、蓝3种图象分割成不同的频段，并根据绿色图像的子带迭代更新红色和蓝色图像的高频子带，用合成滤波器组重建后，将观测数据插入到颜色分量对应位置的“观测”约束上进行投影。他们观察到，当使用适当的小波对颜色值进行小波分解时，颜色分量的高频子带是高度相关的，而颜色之间的差异主要存在于最粗的分辨率上[19]。Lu等人提供了对这种方法的严格分析，通过求解二次约束最优问题，提高了运算代价，对交替投影法进行了扩充，可以在单步中获得与凸集投影算法相同的结果，在多相域中实现线性滤波，该算法使用无需迭代的一步法降低了计算复杂度，提高了计算效率[20]。Li在中也提出了与Gunturk等人的方法类似的方法，其中使用了不同的分析滤波器组，并描述了迭代阶段的停止准则[21]。在另外一种方法中，Menon等[22]通过对亮度成分的小波分析，估算了横向和纵向的插值权重。

④基于稀疏表示的去马赛克算法

由于字典学习在近年来的快速发展，基于稀疏表示的去马赛克算法引起学者的广泛关注。系数表达是指在1个超完备字典中，尽量用最小数目的原子来表达，从而得到1个更加简洁的信号表达形式，从而重构出丢失的象素值。Mairal等[23]提出了1种基于稀疏表达的图象复原算法，它采用了1种改进的K—SVD方法，对完整字典和局部自适应字典进行了学习和训练，并将2个字典结合起来，从而达到最后的效果。实验结果证明，该方法具有良好的恢复效果，但运算量大。随后，Yin等人[24]提出了1种基于残差图像重构和稀疏表示的圖像复原算法。该算法首先采用插值法产生G平面和2个色差平面，然后使用自适应字典和稀疏表达算法对最后得到的图像进行重建，得到的重建图像的边缘和细节要比中间的图像更加丰富。Li等人[25]通过调节再分配的近端束方法来解决最小化相互一致性问题，解决了常见CFA的最优设计问题。尽管基于稀疏表达的算法具有更好的性能，但是它的复杂性和对字典的完整程度难以掌握，因此它在实际应用中的局限性很大。

4 Bayer复原技术的发展趋势

随着科学技术的快速发展，图像传感器的面积越来越大，捕获的像素越来越多，对Bayer图像复原技术的性能和实时性提出了更高的要求。现有的复原计数算法所产生的图像中，诸如边缘、纹理等部分仍然存在着模糊、虚影等问题。所以，对有效的复原技术进行深入的研究，确保得到高品质的彩色图像，仍有很大的实际应用价值。

经过近几年的发展与完善，卷积神经网络（CNN）在数据学习方面显示出良好的性能，卷积神经网络的发展极大地提高了计算机视觉应用的性能。这有助于降低半导体设备或电子系统所需的集成水平，从而降低成本和功耗。

Wang在复原技术中运用3级神经网络，将有监督学习和无监督学习相结合的神经网络进行训练，并利用训练得到的学习权重和偏移参数对复原过程进行处理，尽管效果有限，但为神经网络在图像复原技术中的应用提供了依据[26]。Gharbi等人提出了1个含有15个卷积层的深度卷积神经网络结构，将复原技术在基准数据集上的精度提高到一个新的水平[27]。Tan等人将简单的神经网络改为残差学习训练网络用于复原技术处理，首先利用1种有效的插值算法得到初始插值结果，产生包含不需要颜色伪影的粗略图像，在此基础上，利用3个深度卷积神经网络对图像进行一般、平滑和粗糙纹理区域的处理，并利用加权插值进行最终的融合，得到了较好的图像[28]。Niu和 Ouyang等人[29]提出了3个不同的分枝的卷积网，它们分别还原了绿色、红绿和蓝绿通道差。通过降低红色及蓝色通道的还原难度，提升了CFA图像的重建速度。

除了将CNN应用于Bayer模式图像的复原外，Chandra等人还将CNN应用于基于Bayer图像的手势识别训练[30]。自1995年，Nowlan和Platt发表了CNN在手部姿势识别方面的第1个应用以来[31]，过去的几年里，CNN被广泛应用于手势识别领域，但使用Bayer图像进行手势识别CNN训练的工作几乎不存在。Chandra等人在实验中，使用伪Bayer图像组成一个预先训练的CNN，以对真实Bayer图像中的手部姿势进行分类。图5所示的2种方法中，一个CNN可以从零开始训练，也可以由一个预训练的CNN进行逐步训练。实验结果表示，完整或者部分的CNN可以集成在CMOS传感器和图像信号处理（ISP）中，简化嵌入式系统的片上系统（SoC）方案。

结果表明，与以往的插值算法相比，采用卷积神经网络重构的图像质量得到了很大的改善，表现出了目前最好的效果。然而CNN通常使用监督学习方法进行训练，这通常需要大量训练样本。训练样本的建立不仅需要大量人力和时间，还需要相应的系统来获取和标记数据。并且由于底层硬件设备在输出图像上集成了ISP功能，所以对于最终用户来说Bayer图像通常是隐藏且不容易获得的。因此，建立Bayer图像的数据集是非常困难的，这是CNN用于训练Bayer图像复原技术的一个重要的挑战。

5 结语

由于国内外学者对Bayer图像复原技术的研究日益深入，各种恢复方法层出不穷，对于彩色图像的质量需求也在不断提高，这将有利于Bayer图像复原技术的发展。随着产学研用的深度融合，Bayer图像复原技术必将得到进一步的快速提升，这将深入推动基于Bayer图像复原技术的成像技术在更大范围内的应用与推广。

10.19599/j.issn.1008-892x.2022.03.012

参考文献

[1] Hubel PM，Liu J，Guttosch RJ.Spatial frequency response of color image sensors：Bayer color filters and Foveon X3[C].// Sensors and Camera Systems for Scientific，Industrial，and Digital Photography Applications V.USA：SPIE.2004：402—407.

[2] Hirakawa K，Wolfe PJ.Advancing the digital camera pipeline for mobile multimedia：Key challenges from a signal processing perspective[C].//IEEE International Conference on Acoustics，Speech and Signal Processing.USA：IEEE.2008：5332—5335.

[3] Bayer BE.Color imaging array：USA，US3971065 A[P].1976—07—20.

[4] 张峰.数码相机中Bayer格式数字图像的降噪与颜色插值算法的研究[D]. 浙江：浙江大学.2012.

[5] Menon D，Calvagno G.Color image demosaicking：An overview[J].Signal Processing：Image Communication.2011，26（8-9）：518—533.

[6] 刘贺钦.数字图像传感器颜色插值算法研究[J].小型微型计算机系統.2007，28（8）：1482—1485.

[7] Ramanath R，Snyder WE，Bilbro GL，et al.Demosaicking methods for Bayer color arrays[J].Journal of Electronic imaging.2002，11（3）：306—315.

[8] Li JJ，Randhawa S.Colour filter array demosaicking using cubic spline interpolation[C].//2007 IEEE International Conference on Acoustics，Speech and Signal Processing.USA：IEEE，2007：865—868.

[9] Wang D，Yu G，Zhou X，et al.Image demosaicking for Bayer-patterned CFA images using improved linear interpolation[C].//2017 Seventh International Conference on Information Science and Technology （ICIST）.USA：IEEE，2017：464—469.

[10] Hibbard RH.Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients：EP，US5382976 A[P].1995—01—17.

[11] Laroche C.Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients：US，US5373322 A[P].1994—12—13.

[12] Chen X，He L，Jeon G，et al.Multidirectional weighted interpolation and refinement method for Bayer pattern CFA demosaicking[J].IEEE Transactions on Circuits and Systems for Video Technology.2014，25（8）：1271—1282.

[13] Kakarala R，Baharav Z.Adaptive demosaicing with the principal vector method[J].IEEE Transactions on Consumer Electronics.2002，48（4）：932—937.

[14] Dubois E.The sampling and reconstruction of time-varying imagery with application in video systems[J].Proceedings of the IEEE.1985，73（4）：502—522.

[15] Alleysson D，Susstrunk S，Hérault J.Linear demosaicing inspired by the human visual system[J].IEEE Transactions on Image Processing.2005，14（4）：439—449.

[16] De Lavarène BC，Alleysson D，Durette B，et al.Efficient demosaicing through recursive filtering[C].//2007 IEEE International Conference on Image Processing.USA：IEEE.2007，（2）：189—192.

[17] Dubois E.Filter design for adaptive frequency-domain Bayer demosaicking[C].//2006 International Conference on Image Processing.USA：IEEE.2006：2705—2708.

[18] Dubois E.Color filter array sampling of color images：Frequency-domain analysis and associated demosaicking algorithms[M]. Single-Sensor Imaging：CRC Press.2018：203—232.

[19] Gunturk BK，Altunbasak Y，Mersereau RM.Color plane interpolation using alternating projections[J].IEEE transactions on image processing.2002，11（9）：997—1013.

[20] Lu YM，Karzand M，Vetterli M.Demosaicking by alternating projections： Theory and fast one-step implementation[J].IEEE Transactions on Image Processing.2010，19（8）：2085—2098.

[21] Li X.Demosaicing by successive approximation[J].IEEE Transactions on Image Processing.2005，14（3）：370—379.

[22] Menon D，Calvagno G.Demosaicing based onwavelet analysis of the luminance component[C].//2007 IEEE International conference on image processing.USA：IEEE.2007：181—184.

[23] Mairal J，Elad M，Sapiro G.Sparse representation for color image restoration[J].IEEE Transactions on image processing.2007，17（1）：53—69.

[24] Yin J，Sun G，Zhou X.Demosaicing and Super-resolution for Color Filter Array via Residual Image Reconstruction and Sparse Representation [J].Computer Science.2013，82（82）：433—437.

[25] Li J，Bai C，Lin Z，et al.Optimized color filter arrays for sparse representation-based demosaicking[J].IEEE Transactions on Image Processing.2017，26（5）：2381—2393.

[26] Wang Y Q.A multilayer neural network for image demosaicking[C].//2014 IEEE International Conference on Image Processing （ICIP）.USA：IEEE.2014：1852—1856.

[27] Gharbi M，Chaurasia G，Paris S，et al.Deep joint demosaicking and denoising[J].ACM Transactions on Graphics 2016，35（6）：1—12.

[28] Tan D S，Chen W Y，Hua K L.DeepDemosaicking：Adaptive image demosaicking via multiple deep fully convolutional networks[J].IEEE Transactions on Image Processing.2018，27（5）：2408—2419.

[29] Yan N，Ouyang J.Cross-channel correlation preserved three-stream lightweight CNNs for demosaicking.arXiv e-prints.2019.

[30] Chandra M，Lall B.A Novel Method for CNN Training Using Existing Color Datasets for Classifying Hand Postures in Bayer Images[J].SN Computer Science.2021，2（2）：1—10.

[31] Nowlan S J，Platt J C.A convolutional neural network hand tracker[J].Advances in neural information processing systems.1995：901—908.