低照度视频图像增强算法综述

方明，李洪娜，雷立宏，梁铭

（1.长春理工大学　计算机科学技术学院，长春　130022；2.长春理工大学　机电工程学院，长春　130022）

低照度视频图像增强算法综述

方明1，李洪娜1，雷立宏1，梁铭2

（1.长春理工大学计算机科学技术学院，长春130022；2.长春理工大学机电工程学院，长春130022）

图像传感器在光照不足的环境下成像，会造成视频图像噪声大、对比度低、大量细节信息无法表现等问题，这些不足严重影响人们对视频图像内容的判读和理解。分析了低照度视频图像的不足，总结了近年来针对这些不足提出的有代表性的一些低照度视频图像增强策略及它们的衍生算法。根据这些算法的亮度增强原理将它们分为基于色调映射、背景融合、模型、直方图等几大类，并对比分析了它们各自的适用场合、算法优势、局限性等。

低照度；视频图像；图像增强

良好的光照是保证视频图像质量的一个重要条件，但在视频图像的拍摄过程中，理想的光照条件往往很难得到满足。在低照度环境下获取的视频图像通常存在亮度低、噪声大、对比度低等不足。针对低照度视频图像的这些特点，一般的低照度图像增强算法都会采用提亮、去噪、提高对比度相结合的方法对低照度图像进行增强。为了获得视觉效果良好的低照度视频图像，许多研究者提出了一些经典的算法，但是这些算法往往只在某一个方面拥有较好的效果，而无法兼顾各个方面。随着图像增强技术的发展，通过简单的经典算法的组合对低照度图像处理得到的图像，在质量上已不能满足人们的要求。因此国内外出现了许多经典算法的改进算法，并利用改进的算法进行组合以达到对低照度图像增强的目的。本文首先分析了低照度图像的特点，总结了基于这些特点的视频图像后呈现该方法，最后重点分析了几条典型案例。

1　低照度视频图像特点分析

低照度视频图像中的灰度值总体偏小，使视频图像整体偏暗。各个相邻的像素之间的相关性大，相似的像素值分布集中，轮廓等边缘像素对应的灰度值与非边缘的邻域像素对应的灰度值差异较小，细节信息弱化。低照度视频图像的这种弱化现象在图像增强过程中容易造成信息的丢失。彩色图像的色彩是由图像各个通道的像素对应的灰度值的差异关系决定的，低照度下的视频图像各个通道之间对应像素灰度差值变小，虽然在数值上可以看到不同，但对于人类视觉而言仍不能分辨出这些细微的色彩差别，视频图像的颜色均偏暗色，整体的色彩层产生偏差，由于色彩不同而造成边缘信息弱化。低照度环境下获取的视频图像因受光照不均的影响，易产生噪声和局部欠曝光等现象，这也容易造成在增强过程中产生光晕、欠曝光、过度曝光等问题。

低照度视频图像的增强与单一低照度图像的增强不同，在低照度视频图像的增强过程中，不但要考虑每帧图像的增强效果，还要考虑视频帧之间图像的衔接是否平滑，若相邻帧图像衔接不自然，增强后的视频图像易产生运动模糊等现象。低照度视频图像比单一图像的参考信息丰富，在运动场景中，当前帧图像可以参考邻帧图像的信息进行图像增强，在固定场景中（例如监控视频），当前帧图像可以参考背景清晰帧的信息进行图像增强。

2　经典低照度视频图像的噪声去除与亮度增强算法

人们对低照度视频内容的判读受很多情况的影响，其中图像噪声和图像亮度是影响人们对图像内容判读的主要因素。现有的一些图像噪声去除和亮度增强算法不但效果良好，而且能很好的保持图像的细节信息，这些算法均是在经典算法的基础之上衍生出来的。下面是对去噪和亮度增强的两类经典算法的总结。

2.1去噪类算法

低照度视频图像除了光照影响产生的光量子噪声外，在处理过程中也容易引入的高斯噪声、瑞利噪声和脉冲噪声等。对去除这些噪声的经典滤波算法的优缺点进行总结，如表1所示。

表1　经典去噪算法优缺点对比

2.2亮度增强类算法

低照度视频图像会出现光照不均，图像过暗等不足。为了能更好的在不同的场景中选择适当的亮度增强方法，对亮度增强算法的优缺点进行总结，如表2所示。

表2　经典亮度增强算法优缺点对比

3　低照度图像的典型算法分类

国内外学者提出了很多针对低曝光的视频图像的增强算法，这些算法对低照度视频图像的改善各有侧重。由于光照条件一直是低照度视频图像质量的主要限制因素，本文将按照算法对亮度的增强方式对近几年发表的效果比较好的一些算法进行分类和总结。算法的分类如图1所示。

图1　亮度增强方法分类

图1中，色调映射类是通过色调映射函数对图像的亮度进行增强；背景融合类是通过借助曝光良好的背景对图像的亮度进行增强；基于模型类是基于现有的模型，例如大气物理模型等对图像亮度进行增强；直方图类是基于直方图均衡化的思想对图像的亮度进行增强。

3.1色调映射类算法

色调映射（Tone Mapping）简称TM，是由Drago F［1］等在2003年模仿人类对光的反应提出的一种实验效果良好的用于显示高对比度场景的自适应映射函数，即将低动态范围的图像近似显示为高动态范围图像的一项计算机图形学技术。该方法可以拓展低照度图像的动态范围，改善图像的亮度并改善图像光照不均的不足，但这种动态范围的拓展常常会以衰减对比度为代价。TM经过众多研究者的逐步改善，其在拓展图像动态范围上已经取得了比较好的效果。图2为TM算法与各种去噪算法组合的低照度视频图像增强算法示意图。

图2　色调映射算法发展示意图

图2中，箭头方向为算法的提出顺序，算法1为TM与双边滤波的组合；算法2为TM与非局域均值滤波的组合；算法3为TM与基于时空的双边滤波算法的组合；算法4为TM与基于时空的非局域均值滤波算法的组合；算法5为TM与非局域均值滤波和卡尔曼滤波的组合；算法6为TM与各向异性滤波的组合。

按照色调映射算法发展的示意图，本文将对每个阶段的典型算法进行简单的概述。Bennett Eric P，McMillan Leonard［2］等将色调映射函数较早地应用到低照度视频增强算法上。他们提出了一种利用逐像素虚拟曝光的视频增强方法。该算法的亮度增强部分在基于Drago F等提出的映射函数的基础上提出了一个对数映射方程，该映射方法［1］对低动态曝光不足的视频进行动态扩展和亮度提升，在亮度增强过程中增加了细节增强部分，减少了图像对比度的衰减，用滤波后的图像与原图相减得到的边缘值对图像细节部分进行增强，然后利用色调映射方法对两部分同时进行缩放，只是在缩放时选用了不同的参数，将细节和亮度同时增强。在去除噪声过程中，该文提出了一种自适应时空滤波方法（ASTA），该滤波算法借助当前像素与邻帧对应像素的相似度和距离决定其对当前像素贡献的权值，再对图像进行整合得到增强后的图像。该方法减少了色调映射方法对细节信息的损失，但在去噪方面却不是很理想。针对这一问题姜海琳［3］在其硕士论文中提出了基于NLM和Tone Mapping的低亮度视频去噪、增强的算法。该算法在去噪方面对ASTA算法进行改进，提出自适应时空加权平均（Adaptive-Spatio-TemporalAverageNLM （ASTA-NLM））的新的滤波算法，由ASTA中双边滤波［4］改成空间局域均值滤波，该算法将ASTA算法中以邻帧对应点为参考变为以邻帧对应块为参考，从而使其邻域从二维扩展到三维。在细节和亮度增强部分，采用图形学上的色调映射对滤波后的视频进行映射，根据当前处理点的亮度与它所在区域的平均亮度的差值来衡量该点与周围点的亮度对比情况来矫正最后的映射曲线，拉伸动态范围，最后再对视频图像的Y通道进行滤波的操作。该算法在运动边缘保持，细节保持和噪声去除上略优于Bennett Eric P，Leonard McMillan等提出的算法，但是计算量增加了许多。

上述算法参考邻帧信息时，均未考虑运动产生的误差。针对这个问题，Minjae Kim，Dubok［5］等提出了一种极低光视频去噪和增强的新方法。该方法在时域滤波中利用卡尔曼滤波［6］对最小化运动模糊进行估计，找到对应区域，应用动态非局域均值去噪方法对对应区域进行去噪，减少了运动误差。在时域去噪完成后实施色调映射操作，在色调映射过程中增强了图像的亮度，但同时也不可避免地增强了之前残留的噪声，最后利用非局域均值去噪方法对色调映射后的图像进行增强。色调映射中对于每种参数，均有曝光良好与曝光欠佳的区域。对此Zhang Qing，Nie Yongwei［7］等提出了一种新的有效的视觉驱动渐进融合方法。对于输入的低曝光视频，利用一系列试探性的色调映射曲线对每个视频帧进行色调映射，得到原始视频的多重曝光序列，在不同曝光等级的视频帧序列中通过对比度、饱和度和曝光度选择曝光良好的区域集成为一个良好的曝光视频帧，最后将视频前后帧曝光良好的视频帧通过高斯和拉普拉斯金字塔分解，进行多尺度融合，即感知驱动渐进融合方法。然后利用Knn（k-nearest neighbors algorithm）［8］方法找到邻帧中当前被处理像素的匹配块，再进行有效的纹理保持的时空滤波，以获得去噪后的增强图像。该算法得到的增强图像曝光均匀，细节良好，保持了时间协调性，避免了视觉假象。比较而言，虽然上述算法增强效果很好，但是算法结构复杂，计算量大，为了能得到实时的视频图像，Malm Henrik［9］等提出了极低光级视频的自适应增强和降噪方法，该方法对彩色视频图像采用HSV颜色空间进行处理，提取出亮度图像，将结构张量和二阶矩结合结构自适应各向异性滤波方法在时空上进行拓展，形成了新的滤波算法，即自适应时空滤波算法，然后通过该滤波算法对视频的灰度图像进行平滑，采用快速滤波器对图像边缘进行锐化，减轻滤波对图像细节的影响，最后利用色调映射解决低曝光和曝光不均匀的问题。该论文提出的算法可独立进行并行处理，提高视频图像的处理速度。

TM类低照度视频增强算法的基本流程如下：

（1）视频图像去噪

基于TM类的低照度视频增强算法首先对视频的亮度分量和整体做去除噪声操作，在去除噪声和亮度映射过程中均会损失图像的细节信息，因此通常选取保边去噪效果比较好的时空滤波去除视频图像中的噪声，公式一般如下所示：

其中 temporalfilter（x，y，t）为帧间的滤波操作，temporalfilter（x，y，t）为当前帧的滤波操作，λ为增益系数，g（0，δ）为高斯核函数，n为双边滤波的分子，d为双边滤波的分母。

（2）亮度增强

低照度视频图像的亮度整体偏低，且局部呈现低动态，因此在亮度增强部分采用TM函数对低照度视频图像的亮度分量进行映射，拓展视频图像的局部动态范围，在全局范围内提升视频图像的亮度。表达式一般如下所示：

其中x为当前处理的像素值，xMax为整幅图像的最大值，ψ为曲线参数。

TM类算法基本为去噪算法与色调映射算法结合的模式，该类算法结构适用于变化的场景，算法灵活性比较好，适宜拓展。但算法比较繁琐，计算量较大，这些造成了算法的实用性降低。

3.2背景融合类算法

背景融合是视频图像亮度增强的另一种方法，该类方法主要是指关于同一目标图像的多种形式的信息数据经过处理，最大限度的提取各种形式中的有利信息，最后整合成高质量的图像。

在低照度图像融合中，常常借助曝光良好的视频图像与需要增强的图像进行亮度融合，以得到适合人类观察的增强后的图像。如图3所示利用曝光良好的背景图像（a）对低曝光图像（b）的背景进行增强。在实际融合过程当中，基于背景融合的低照度视频图像增强的方法有很多，该类算法的原理［10-13］如图4所示，其中长方形框内为亮度融合部分。

图像融合技术在视频监控领域得到了很好的应用，与红外图像增强算法［14-15］不同，图像融合类算法可以通过借助同一曝光良好的场景视频图像信息，恢复当前图像损失的细节、颜色等信息，对图像的背景部分恢复效果较好。但背景融合也有缺点，即不能用于移动的场景，对移动物体的增强效果欠佳。

图4　亮度融合算法原理

图4中，首先将低照度图像的灰度层与彩色层进行分离，并从灰度图像中提取出图像的亮度分量，同理获取曝光良好的图像的亮度分量并对低照度图像的亮度进行增强（即黑框内的部分），最后将增强的亮度与低照度图像的反射分量和彩色层进行重建，得到增强图像。

基于背景融合的低照度视频图像增强的方法有很多，其中Li Jing［16］等比较早地将图像融合思想应用到夜间视频监控图像的增强中，并提出了一种低照度视频图像背景增强的方法。该方法通过对比白天的光照对夜间背景光照强度进行分割，以获得高光和低光区域。高光区的像素将被直接发送到最后的融合模块。同时按光照强度对夜间背景图像进行分区，并基于背景的运动估计与亮度的直方图均衡化在各级分区中使用不同的阈值提取出运动物体。最后，结合移动物体的提取结果和光照区域提出了一种基于多分辨率的融合方法，有效的增强了强光区域或低对比度的移动物体。该算法具有较好的提取和保持重要信息的能力，但在噪声去除方面不佳。在图像融合的基础上，Yamasaki Akito［17］等提出的Denighting夜间监控视频图像增强算法比较好的解决了这一问题，该算法总体分为实时和非实时两部分。非实时部分为背景提取，将纯净的白天背景和当前处理的夜晚背景进行亮度颜色分离，对亮度图像进行双边滤波处理后利用Retinex方法提取其照度信息，计算出白天和夜晚的照度比值；实时部分是将当前处理的夜间图像进行颜色亮度分离，对亮度图像进行双边滤波去噪，利用Retinex理论对去除噪声后的图像进行照度分量和反射分量分离，根据照度比值对当前的照度信息进行增强处理，最后将图像重建。该算法引进了去噪部分，改善了视频图像的质量并且该算法不需要进行运动物体区域分割。但该算法同样存在着不足，即通过白天与黑天的亮度比例对夜间图像的亮度增强，可能会导致图像静态区亮区欠增强，亮度比例增强不协调等问题。

为了改善上述夜间融合算法中出现的问题，饶云波［18］在其博士论文里提出了亮度融合权重的思想来改善此问题的夜间视频增强方法，即基于Term（亮度增强权重与日夜背景亮度差的乘积）的视频增强算法。该算法对夜间和白天的视频分别取相邻若干帧图像求其平均帧进行背景估计，对图像的灰度与颜色分量进行分割，利用双边滤波对照度分量进行亮度评估，并结合背景更新、背景差分法获取二值图像，再采用形态学操作消除随机噪声并完善运动物体区域，通过Term的夜间视频帧亮度计算亮度增强的权重，利用白天的背景亮度信息对夜间图像进行亮度增强。田旺和陶青川［19］提出了基于融合的夜间视频图像增强算法，该算法对饶云波提出的算法中的亮度增强权重部分做了改进。该算法基于运动的背景估计，应用高斯背景建模将目标从夜间视频中提出，用直方图均衡方法对目标进行增强，然后在融合之前对夜间图像进行多尺度增强，从夜间视频单帧图像中获取亮度信息，改进了白天背景和夜晚视频图像的融合权重的计算方法，将图像进行归一化处理，以夜间视频同一场景的白天图像和夜间图像融合以后的图像作为最后目标图像的新背景，最后基于平移不变的小波变换［20］方法将处理后的新背景和目标融合就得到了最终的增强图像。虽然该算法对夜间单幅图像的增强效果良好，但在夜间移动物体的影子增强上仍存在不足。为了改善视频图像帧间协调性，朴燕和刘磊［21］等提出了基于图像加权融合方法对静态背景的夜间视频图像进行融合。该算法采用基于帧间差分的背景建模方法将灰度化的相邻两帧图像做帧间差分获得二值图像，用形态学区域填充法对帧间差分后得到的内部有黑色孔洞的连通区域进行填充，对非运动区域进行累加迭代，通过求平均获得白天和夜间的同一地点背景图像。并利用运动物体提取技术根据夜间图像的亮度分布采用不同的阈值进行运动物体的分割，同时采用Retinex理论进行亮度估计，使用高斯低通滤波器估计亮度特征，结合指数映射函数对同一地点不同时间拍摄的图像进行加权融合。

夜间图像融合增强算法除以上方式外，还存在一种检索匹配式增强算法，Dong Xianshu［22］等提出了一种新的稀疏编码融合（SCF）的夜间视频图像增强方法。该算法首先收集足够的同一场景的白天和夜间视频样本，分别获得一个白天字典和夜间字典（MCL），这两个字典用于融合和提取执行背景增强后的背景。此外，该方法重建夜间字典，以获得将被应用在运动提取中的夜间背景。再将移动的对象添加到增强的背景中。实验结果表明该算法可以复原一个高度全面描述的视频帧，使许多普通的公共视频数据集的表现效果得到改善。朱婧雅和王中元［23］利用相似原理提出了一种基于相似场景的低照度监控图像增强算法，该算法首先获取良好光照条件下，与低照度监控图像场景相似的图像，以图像的像素差值作为标准建立图像库。通过对RGB三个通道进行直方图匹配的方法，对低照度图像进行增强，并用迭代增强的方法将增强后的图像进行上述操作不断提高图像的清晰度，直到当本次搜索到的参考图像与上次搜索到的参考图像相同时，该增强图像即为得到最终增强后的低照度监控图像。该方法改善了图像的视觉效果，提高了图像的亮度和对比度。

3.3基于模型类算法

（1）大气物理散射模型

低曝光视频图像的反向图与雾天图像相似，利用这种相似性，低曝光视频图像可以借助大气散射物理模型进行增强，将去雾算法应用于低照度视频图像增强过程中。由于伪雾图与真实雾天图像非常相似，故可借助大气物理散射模型对伪雾图进行增强。

图5　图像清晰度对比

根据夜间视频图像与雾天图像的关系，Ding X［24］等提出了一种基于图像去雾算法的夜间图像增强方法。该方法利用了夜晚图像的亮度特点，根据反转图像的直方图分布与雾天图像十分相似这一特点，设计出一种算法。该算法效果良好，能够做到实时的增强夜间视频图像，但在一些细节区域，仍存在过度增强的现象。姜雪松［25］基于夜间图像的这一亮度特征，提出了一种新的夜间图像和视频的实时增强算法，该算法能够保证图像的细节可见性和自然性，避免了过度增强现象的出现。该算法首先将夜间图像反转求得与雾天相似的伪雾图，对伪雾图像进行中值滤波，在滤波后的图像顶部四分之一的部分找到灰度值最大的50个位置，在未滤波的伪雾图中找到对应位置的像素值，将最大值视为大气光的亮度值，通过改进的暗通道先验模型，对暗通道先验模型［26-29］的约束条件进行放松得到暗通道图像，再进行金字塔分解和多尺度中值滤波，利用优化的暗通道图来计算透射函数，再用大气散射物理模型［30］对其增强，最后对增强后的视频图像求反，得到夜间图像。该方法增强夜晚图像与视频的细节可见度和整体亮度，同时保持了增强结果的自然性，避免过度增强。低照度图像增强过程中颜色信息也很容易丢失，对此遆晓光和曲悠杨［31］提出了一种改进的色彩保持低照度图像增强方法，该方法基于图像去雾领域的暗通道先验方法，提出了一种基于暗通道先验的低照度图像增强方法。该算法首先将输入图像转换到RGB颜色空间，获得图像的RGB三个通道，将RGB三通道中的最小值作为输入图像的暗通道图像，对图像中的白色区域进行判定，并修改白色区域像素的暗通道数值，得到初始光照强度分布图，对修改后的暗通道图像进行线性平滑，得到平滑后的光照强度分布图，根据像素点在平滑后光照强度图像上的灰度与期望光照强度的比例关系，对图像上不同像素点的RGB三个通道进行增强，以提高图像质量。该方法能较好恢复低照度图像的颜色信息。为了提升算法效率，王小元和张红英［32］等提出了基于物理模型的低照度图像增强算法，该算法将低照度图像反转后得到与雾天图像相似的伪雾图，应用大气散射物理模型对伪雾图像进行增强，再对增强后图像求反得到夜间增强的图像。在该算法中，首先采用暗原色先验规律对伪雾图的环境光值进行估计，并基于亮度分量对透射率进行估计；然后，基于大气散射模型还原出无雾图像；最后，对无雾图像反转得到低照度图像的增强结果，并对该结果进行细节补偿得到最终的增强图像。

基于大气散射物理模型的低照度增强算法的过程通常如下：

①首先对低照度图像求反，得到其伪雾图，转化公式为：

其中J（x）为低照度图像，Jinv（x）为伪雾图。

②应用大气散射物理模型对伪雾图像进行增强。表达式如下：

其中，A为大气光值，t（x）为透射函数。

③将增强的图像的反转图，即图像的最终增强结果。

（2）Retinex理论模型

Retinex理论是另一种可以应用到低照度视频图像增强中的模型，学者们从人类的视觉系统发展了Retinex理论。从单尺度Retinex算法（single scale retinex，SSR）改进成多尺度加权平均的Retinex算法（multi-scale retinex，MSR），再发展成带彩色恢复的多尺度Retinex算法［33-36］（multi-scale retinex with color restoration，MSRCR）。Retinex理论模型表达式为：

S（x，y）为原始图像，L（x，y）为入射分量，R（x，y）为反射分量。Retinex理论可将光照分量独立的提取出来，利用Retinex理论可以在不影响图像其他属性的情况下对图像的亮度进行调整，这样在图像增强的操作过程中可以避免增加或减弱图像的其他属性信息，从而间接地篡改了图像。

利用Retinex理论的优点，学者们将其利用到低照度视频图像增强中，例如2011年Jin Huixia［37］等提出了基于Retinex理论的夜间视频图像增强方法。该算法首先利用Retinex理论在两组不同的参数下对图像进行增强并进行特征分析，然后根据离散小波变换的融合算法，将增强的图像融合在一起。仿真结果表明，增强后的图像具有更大的亮度、对比度和更清晰的边缘，图像的视觉效果得到明显改善。为了增强彩色图像而不引起色彩失真，一些学者们将Retinex理论在图像的不同的颜色空间进行应用［38，39］，例如李小霞和李铖果［40］等提出了一种新的低照度彩色图像增强算法，该算法首先将图像转换到HSV颜色空间中，并保持色相不变，采用分段对数变换增强饱和度，对色调分量进行多尺度Retinex变换，对变换后的图像采用锐化处理和高斯平滑处理，利用色调分量迭加的方法增强色调边缘。该方法主要在保持图像颜色和图像细节方面有较好的效果。为解决多尺度Retinex算法中出现的颜色失真问题，在程芳瑾［41］等发表的基于Retinex的低照度图像增强方法中，提出了根据夹角余弦值对MSR结果进行调整的余弦色彩恢复函数，使之与原始图像的颜色更加接近。在该算法中，首先计算原始图像与单尺度处理结果图像的夹角余弦值，当处理后图像像素矢量与原始图像像素矢量夹角较小时，说明颜色改变不大，因此只进行小幅度调整；当夹角较大时，说明处理后颜色失真很大。根据实际实验观察，这现象往往体现在亮度上，因而要大幅度调整其亮度以及颜色。除了以上直接利用Retinex理论对图像进行增强的算法外，也有利用Retinex理论将图像中的亮度分量进行分解，对分解后的分量进行处理的算法。陈喆和蒋羽超［42］等提出的利用β函数映射与帧间信息融合的低照度视频图像增强方法，便是利用Retinex理论将其亮度分量分解为反射分量与照度分量；根据照度值映射关系利用β函数映射来增强照度分量；利用反射分量及增强后的照度分量来重建亮度层，最终重建RGB图像。帧间信息融合增强将视频第一帧图像作为标准帧，计算其增强参数；比较第二帧图像与标准帧图像的直方图，若欧式距离小于阈值，则使用标准帧的增强参数处理第二帧图像；否则，将第二帧图像作为标准帧并重新计算其增强参数，重复上述步骤，直至整个视频增强过程结束。戴岩［43］等提出的基于梯度零范数最小化滤波的Retinex夜间图像增强方法，也是利用Retinex理论将亮度分量分解成光照信息与反射信息两部分。对亮度信息进行降采样后，利用梯度零范数最小化滤波对光照图像进行估计，再生成采样，完成照度图像估计，对反射图像进行改进的r校正，校正后的图像与照度图像融合成亮度信息图像，得到最后的彩色增强图像。基于改进的CEM（Color Estimation Model）模型及细节增强的夜间彩色图像增强方法中，结合改进的r变换方法和CEM模型相结合，提出改进的CEM方法对输入图像的RGB三个通道分别进行增强，最后通过引导滤波对亮度提升后的图像进行去噪处理，以得到最后的增强图像。

基于模型的算法能对视频图像中的整体信息进行增强，但算法结构不灵活，局部信息的增强效果不佳且算法的可拓展性不好。

3.4基于直方图类算法

在图像处理中，直方图均衡法是一种非常经典的函数映射类的方法。在低照度视频增强中，基于直方图均衡的改进方法有很多，其中有些方法直接根据直方图均衡进行视频图像增强方法，如张宇和王希勤［44］等提出的一种用于夜间图像增强的算法。为了提高夜间捕获图像的清晰度，该算法首先用直接对比度增强的方法增强图像的局部对比度，再用直方图均衡对图像的全局进行增强。该方法可以使用局部和全局的信息，是一种适合处理暗区图像的对比度变换函数，可以实时实现。实验证明新方法在处理夜视图像时表现出了良好的性能。也有些是基于直方图均衡的视频图像算法。有些时候传统的直方图均衡方法无法满足现实状况的要求，所以有很多学者提出了改进的直方图均衡方法，例如何畏［45］提出的基于改进直方图的低照度图像增强算法，该算法首先利用函数映射增强局部信息的对比度，然后用改进的直方图均衡化方法对图像进行全局的增强处理，根据其位置修正灰度级，拓展其输出图像的动态范围与灰度级数，保证细节不会因为直方图均衡化而丢失。该算法对局部细节对比度增强的效果较好。为了在不损失图像细节的情况下使算法能达到很好的噪声去除效果，冷露［46］等提出了将边缘细节与局部信息结合的直方图均衡方法，该方法具有较强的抗噪性。为了使夜视图像曝光均匀，Ernesto Zamora Ramos［47］提出了夜间视觉的亮度加权直方图均衡化算法，该文探讨了利用直方图均衡化扩大恶劣的照明条件下拍摄的图像的直方图的动态范围的可能性，有效地增强夜间图像的对比度［48-49］。夜视图像的标准直方图均衡主要是对聚集的低像素值周围进行曝光，而增强亮度权重直方图均衡化是结合每个像素值亮度的归一化权重计算和扩散的直方图值填充差距，减少噪声的高频变化。这项技术可以应用到新的视频捕获设备，检测低照度的光照强度的加权直方图均衡，以利于低光的视频捕获。

如图6中的（c）、（d）所示，直方图均衡主要将灰度集中的图像进行拉伸，使其灰度均匀分布。图（c）中直方图可知，像素值主要集中在0-50，对应的图像亮度较暗，图（d）中像素值相对图（c）分布均匀，对应的图像亮度提升。

由图6中的（a）、（b）效果图对比可知，传统直方图均衡方法提升了图像的亮度，并调节了图像中亮度不均的问题，但损失了图像中大量的细节信息，因此将传统的直方图均衡方法单独应用到低照度图像增强过程中效果不是很理想。基于以上分析，直方图均衡方法需要结合图像细节信息增强算法增强图像的亮度，也可以在传统直方图算法之上引入权重思想，对直方图均衡算法的自身进行调整，使其减少对图像纹理的损失。

图6　直方图均衡前后对比图

4　结语

实际的应用需求促进了低照度视频图像增强的研究与发展，近十年来，国内外涌现出许多关于低照度视频图像增强算法，本文对这些算法进行了分类并对每类增强算法中的典型算法进行了概述。当前的算法在很大程度上改进了低照度视频图像的质量，但在具体应用中仍存在许多不足。例如在视频图像增强过程中，很难兼顾算法的实时性、自适应性、视频图像的细节信息和颜色信息等。低照度视频图像增强算法在未来的研究与发展中，不仅要考虑算法在保持边缘和去除噪声方面的效果，还要注重算法的实时性与自适应性。只有具备良好的增强效果且满足实时性的算法才能得到广泛的应用。

［1］Drago F，Myszkowski K，Annen T，et al.Adaptive logarithmicmappingfordisplayinghighcontrast scenes［J］.Computer Graphics Forum，2003，22（3）：419-426.

［2］Bennett E P，Mcmillan L.Video enhancement using per-pixel virtual exposures［J］.Acm Transactions on Graphics，2005，24（3）：845-852.

［3］姜海琳.基于NLM和Tone Mapping的低亮度视频去噪、增强［D］.天津：天津大学，2010.

［4］Durand Fr，Dorsey J.Fast bilateral filtering for the displayofhigh-dynamic-rangeimages［J］.Acm Transactions on Graphics，2002，21（3）：257-266.

［5］Kim M，Park D，Han D，et al.A novel approach for denoising and enhancement of extremely low-light video［J］.IEEE Transactions on Consumer Electronics，2015，61（1）：72-80.

［6］谷欣超，刘俊杰，才华，等.基于Kalman滤波器的运动目标跟踪算法［J］.长春理工大学学报：自然科学版，2015，38（5）：136-139.

［7］Zhang Q，Nie Y，Zhang L，et al.Underexposed video enhancement via perception-driven progressive fusion ［J］.IEEE Transactions on Visualization&Computer Graphics，2015：1.

［8］Barnes C，Shechtman E，Dan B G，et al.The generalized patchmatch correspondence algorithm［C］.Proceedings of the 11th European conference on computer vision conference on Computer vision：Part III. Springer-Verlag，2010：29-43.

［9］Malm H，Oskarsson M，Warrant E，et al.Adaptive enhancementandnoisereductioninverylow light-level video［C］.IEEE 11th International Conference on，Computer Vision，2007：1-8.

［10］姜涛，王彩玲.融合多帧信息的Retinex监控视频增强算法［J］.桂林理工大学学报，2015（2）：402-407.

［11］张军，戴霞.基于图像变形融合时空滤波的视频细微运动增强算法［J］.计算机科学，2015，42（z1）.

［12］侯雷，饶云波.一种亮度融合的视频增强方法［J］.光电工程，2011，38（8）：132-138.

［13］Liang W，Murari K，Zhang Y Y，et al.Image-based fusion for video enhancement of night-time surveillance［J］.OpticalEngineering，2010，49（12）：120501-120501-3.

［14］朱秋旭，李俊山，朱英宏，等.Retinex理论下的自适应红外图像增强［J］.微电子学与计算机，2013，30（4）：22-25.

［15］姜勇，刘广文，赵丹培，等.基于FPGA的图像增强以及滤波技术［J］.长春理工大学学报：自然科学版，2002，25（4）：20-22.

［16］Li J，Li S Z，Pan Q，et al.Illumination and motion-based video enhancement for night surveillance ［C］.Visual Surveillance and Performance Evaluation of Tracking and Surveillance，2005.2nd Joint IEEEInternationalWorkshopon.IEEE，2005：169-175.

［17］Yamasaki A，Takauji H，Kaneko S，et al.Denighting：enhancement of nighttime images for a surveillance camera［C］.Pattern Recognition，2008.ICPR 2008. 19th International Conference on.IEEE，2009：1-4.

［18］饶云波.夜间视频增强的关键技术研究［D］.成都：电子科技大学，2012.

［19］田旺，陶青川.基于融合的夜间视频图像增强算法［J］.计算机安全，2013（10）：43-46.

［20］李庆忠，刘清.基于小波变换的低照度图像自适应增强算法［J］.中国激光，2015（2）：272-278.

［21］朴燕，刘磊，刘笑宇.低照度环境下视频增强技术［J］.红外与激光工程，2014（6）：2021-2026.

［22］Dong X，Wang G，Pang Y，et al.Fast efficient algorithm for enhancement of low lighting video［C］. IEEEInternationalConferenceonMultimedia& Expo.IEEE Computer Society，2011：1-6.

［23］朱婧雅，王中元.基于相似场景的低照度监控图像增强［J］.计算机应用与软件，2015，32（1）：203-205.

［24］Ding X，Lei H，Rao Y.Sparse codes fusion for contextenhancementofnightvideosurveillance［J］. Multimedia Tools&Applications，2015：1-19.

［25］姜雪松.不足光照条件下的图像与视频增强［D］.哈尔滨：哈尔滨工业大学，2013.

［26］张丽媛，杨华民，蒋振刚，等.结合金字塔技术的暗原色先验快速去雾方法［J］.长春理工大学学报：自然科学版，2015，38（2）：121-124.

［27］黄华，蒋永馨，王孝通，等.一种基于Ardely分割算法的夜间图像增强方法［C］.第十四届全国图象图形学学术会议论文集，2008.

［28］甘玉泉，高伟.一种基于图像分区的自动曝光算法［J］.微计算机信息，2009，25（12）：303-304.

［29］禹晶，李大鹏，廖庆敏.基于颜色恒常性的低照度图像视见度增强［J］.自动化学报，2011，37（8）：923-931.

［30］赵长霞，段锦，李光明，等.基于大气散射模型的偏振图像去雾方法［J］.长春理工大学学报：自然科学版，2015，38（3）：107-111.

［31］遆晓光，曲悠杨.一种改进的色彩保持低照度图像增强方法［J］.哈尔滨工业大学学报，2014，46（3）：1-7.

［32］王小元，张红英，吴亚东，等.基于物理模型的低照度图像增强算法［J］.计算机应用，2015，35（8）：2301-2304.

［33］Rahman Z U，Jobson D J，Woodell G A.Multiscale retinex for color image enhancement［C］.International Conference on Image Processing.IEEE，1996（3）：1003-1006.

［34］Jobson D J，Rahman Z，Woodell G A.A multiscale retinex for bridging the gap between color images andthehumanobservationofscenes.［J］.Image ProcessingIEEETransactionson，1997，6（7）：965-76.

［35］Zia-Ur R，Daniel J J，Glenn A W.A Multiscale Retinexforcolorrenditionanddynamicrange compression［J］.Proceedings of SPIE-The InternationalSocietyforOpticalEngineering，2010，2847：183-191.

［36］谢斌斌.基于Retinex技术的图像增强算法及实现［D］.北京：中国科学院大学，2013.

［37］Jin H，Tu L，Deng X.Night image enhancement algorithmbasedonretinextheory［J］.International Journal of Advancements in Computing Technology，2011，3（10）：291-298.

［38］雷美荣，杨进华，张金泉.基于Retinex理论的红外图像的边缘增强算法［J］.长春理工大学学报：自然科学版，2008，31（2）：11-13.

［39］张红颖，袁晓鹏.基于YUV色彩空间的Retinex间图像增强算法［J］.科学技术与工程，2014，14（30）.

［40］李小霞，李铖果，邹建华，等.一种新的低照度彩色图像增强算法［J］.计算机应用研究，2011，28（9）：3554-3555.

［41］程芳瑾，杜晓骏，马丽，等.基于Retinex的低照度图像增强［J］.电视技术，2013，37（15）：4-6.

［42］陈喆，蒋羽超，殷福亮.利用β函数映射与帧间信息融合的低照度视频图像增强方法［C］.第十六届全国信号处理学术年会及产业发展大会，2013.

［43］戴岩，赵宏宇，肖创柏，等.基于梯度零范数最小化的Retinex夜间图像增强方法：CN，CN 103413275 A ［P］.2013.

［44］张宇，王希勤.一种用于夜间图像增强的算法［J］.清华大学学报：自然科学版，1999，39（9）：79-80.

［45］何畏.基于改进直方图的低照度图像增强算法［J］.计算机科学，2015，42（6）：241-242.

［46］冷璐，黎明，张家树.结合边缘细节局部自适应增强的直方图均衡化［J］.微电子学与计算机，2010，27（1）：38-41.

［47］Ramos E Z.Intensity weighted histogram equalization method for night vision［J］.Advances in Image and Video Processing，2015，3（3）：18.

［48］Chen S D，Ramli A R.Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation［J］.IEEE TransactionsonConsumerElectronics，2003，49（4）：1301-1309.

［49］Kim Y T.Contrast enhancement using brightness preserving bi-histogram equalization［J］.IEEE Transactions on Consumer Electronics，1997，43（1）：1-8.

A Review on Low Light Video Image Enhancement Algorithms

FANG Ming1，LI Hongna1，LEI Lihong1，LIANG Ming2

（1.School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022；2.School of Mechatronical Engineering，Changchun University of Science and Technology，Changchun 130022）

Imaging under the condition of insufficient illumination with the image sensor will cause the video image noise，low contrast and a lot of details cannot be expressed etc.，these problems seriously affect people to understand and interpret the content of the video image.This paper analyzes the characteristics of low-light video images，and summarizing representative of some of the low-light image enhancement algorithm strategies and their derivatives based on the characteristics in recent years.The algorithms are divided into Tone Mapping，background fusion，model，mapping function according to the principal of light enhancement，and their respective applications，algorithm advantages and limitations are also analyzed by comparing them.

low-light；video image；image enhancement

TP391.4

A

1672-9870（2016）03-0056-09

2016-02-16

吉林省科技攻关项目（20140204047GX）；吉林省自然科学基金项目（2013010105450）

方明（1977-），男，博士，副教授，E-mail：fangming@cust.edu.cn