基于颜色特征分析的色偏检测算法①

李治江,户尊兰

(武汉大学 印刷与包装系,武汉 430072)

基于颜色特征分析的色偏检测算法①

李治江,户尊兰

(武汉大学 印刷与包装系,武汉 430072)

色偏检测广泛应用于机器视觉相关的各种领域.而传统色偏检测方法大多依赖于一定的假设条件或先验知识.本文基于图像色彩度和色彩自然度,改进了基于图像统计信息的色偏检测方法,提出了一种基于图像颜色特征分析的色偏检测算法.实验结果表明,该算法能够消除图像中主色调对色偏检测的影响,提高色偏检测准确率,同时检测结果与人眼视觉感知系统具有较高的吻合度,并具有较强的适应性.

数字图像;色偏;图像分析;颜色特征

引言

随着各种视觉传感器的广泛应用,图像的感知和理解在机器视觉、工业检测、物联网等众多领域得到了越来越深入的研究.在图像所有特征中,颜色信息是最基础也最直接的特征之一,是图像检索、图像分割、图像修复等相关技术的基础之一.但是,数字图像的获取容易受到光源的光谱能量分布、成像对象的表面反射特性及采集设备的感光特性的影响,使获取的数字图像的颜色表现与标准参照光源下的颜色表现或记忆色之间存在偏差,即色偏现象.图像色偏不仅影响图像的视觉效果,还会较大的影响彩色图像的增强、分割、特征提取等后续的分析、处理工作.因此,检测和消除图像的颜色偏差在计算机视觉及相关领域都具有重要的理论意义和实际应用价值.

色偏检测即在一定检测原则的基础上,判定图像是否存在色偏并计算图像的色偏程度[1].色偏检测算法能够直接指导后续的色偏校正处理.后前,已经在医疗诊断、卫星通讯、工业制造等领域内得到了广泛研究和应用.

后前,色偏检测的代表性方法有白平衡算法[2]、灰世界算法[3]、直方图统计法[4]、先验知识法[5]、神经网络法[6]、基于图像分析的色偏检测算法[7]等.这些算法都在特定的数据集中取得了较好的效果,但是仍然存在一定的局限性.例如白平衡算法和灰世界算法分别以 White Patch 假设和 Grey world 假设为前提,适用于满足这些假定的数据集[8];直方图统计法仅根据图像的整体直方图分布或重叠率判断图像是否存在色偏,不能准确计算色偏程度,在适应性上也有明显局限[9];此外,Cheng等[10]提出利用色彩直方图特征进行色偏图像的自动检测算法,但该算法更适用于色偏程度大的图像;先验知识法和神经网络法需要借助先验知识和学习积累来进行色偏检测[11];基于图像分析的色偏检测算法不需要先验知识和假设条件,能够对色偏图像进行二次分类,但分类结果受图像主色调的影响[12].

为了消除图像主色调对色偏检测的影响,进一步提高基于图像分析的色偏检测算法的适应性,本文提出了一种基于图像色彩度和自然度的色偏检测算法,以进一步区分色偏图像和主色调图像,进一步提高色偏检测的准确性.

1 色偏检测方法

较多文献[13-18]经过试验与分析,发现图像色偏与图像的平均色度μ及色度分布有关,并针对色偏图像的特性进行了以下总结:

1)一般情况下,无色偏图像的二维颜色直方图包括多个离散的峰值,且大多分布在中性轴周围;

2)色偏图像的二维色度直方图分布为零个或一个峰值,且峰值远离中性轴;

3)色偏图像平均色度值较大,且二维色度直方图分布较集中;

4)色度平均值越大,图像色偏越严重.

为了更直观地描述图像的颜色偏差,Fang Li[17]将图像平均色度与色度中心距的比值作为色偏因子K来衡量图像的色偏程度,计算公式如下:

式中i,j是被测图像的分辨率,D是图像平均色度,M是图像中心距.设定Kfold为色偏检测的阈值.当K>Kfold时,图像为色偏图像,且 K 值越大,图像色偏越严重.

如图1所示,(a)图的平均色度值和色偏因子值偏小,图像二维色度直方图包含多个离散的峰值.(b)图的平均色度值和色偏因子值较大,图像二维色度直方图只有一个峰值.(c)图的平均色度值和色偏因子值较大,图像二维色度直方图只有一个峰值.利用人眼视觉系统对三幅图像进行评价,评价结果为:(a)图正常,(b)图存在色偏,(c)图为主色调图像(图像中某单一颜色的覆盖范围超过40%,场景为单一颜色为主的场景,未发生色彩偏移[19]).

图1 测试图像

图1中三幅图像的色度平均值D、图像中心距M和色偏因子K的值如表1所示.

表1 图像色度平均值、图像中心距和色偏因子统计表

根据上面的分析可知,色偏因子K与人眼视觉系统在正常图像和色偏图像的评价结果基本一致,但由于主色调图像的色偏因子K较大,对于主色调图像,该算法的检测准确率偏低.

2 基于图像颜色特征分析的色偏检测算法

为了消除图像主色调对色偏检测的影响,本文入了图像的色彩度和自然度概念.其依据在于:

1)图像的色彩度表示图像颜色的丰富程度,色彩度值越大,图像颜色越丰富.同理,图像颜色相对单一时,色彩度值较小.所以可基于色彩度值对色偏图像和主色调图像进行区分,从而减小图像中主色调对色偏检测的影响.

2)色彩自然度反映人眼主观感知与真实自然颜色的相关度,自然度越大,颜色越正常.所以可通过对图像色彩的自然度施加约束条件,对色偏图像和主色调图像进行检测,从而降低了主色调图像误判的概率,提高色偏图像检测的准确率.

基于图像的色彩度和色彩的自然度,本文对色偏因子的计算进行了优化,以进一步提高色偏检测的准确性和适应性.

2.1 图像的色彩度CCI(Color Colorfulness Index)

Hasler[20]给出了在sRGB颜色空间计算色彩度的简洁方法.

其中 rg=R-G,yb=(R+G)/2-B,R、G、B 分别代表某像素的红色分量、绿色分量和蓝色分量,σrg、σyb、urg、uyb分别是rg、yb的标准差和均值.

基于TID2008标准图像数据库、LIVE2标准图像库及网上收集的主色调图像与色偏图像(105 幅主色调图像、97幅色偏图像,将主色调图像按图像内容分为皮肤、天空、草地三类)进行实验发现,CCI的变化范围介于 0 和 50 之间,且 CCI越大,图像颜色越丰富.实验结果如图2所示.

图中横坐标是实验图像的数量,纵坐标是CCI的数值.从图2可以看出:色偏图像CCI变化范围在16与50之间,主色调图像中皮肤和天空图像CCI变化范围在0与15之间,而大多数草地图像的CCI数值大于15.由于主色调图像和色偏图像的CCI数值的变化比较稳定,在色偏检测过程中,可以用其作为主色调图像和色偏图像的区分依据.实验证实CCI<=15时,图像颜色单一;CCI越大,图像颜色越丰富.

图2 主色调图像和色偏图像 CCI统计图

2.2 色偏因子

通过对正常图像和色偏图像进行分析,发现色偏因子K的计算不仅与图像的平均色度μ、色度分布有关,还与图像中的主色调部分(如海洋、天空、草地等大面积区域)有关,因此仅仅依靠图像的二维色度直方图分布进行色偏检测,容易将主色调图像误判为色偏图像.为了消除图像主色调对色偏检测的影响,

本文依据图像色彩度与主色调图像的关系,对色偏因子的计算方法进行优化.参考公式(1),优化后的色偏因子的表达式如下:

式中CCIfold是判断图像色彩是否丰富的阈值,由2.1中CCI实验结果的分析可知,CCIfold的值取15时,算法效果最好.

根据公式(7)可知:通过为色彩度设置约束条件,将主色调图像检测为正常图像,大大降低了色偏检测的误判率.但该方法对CCI大于15的主色调图像无效.

2.3 图像的自然度CNI(Color Naturalness Index)

色彩自然度主要反映人眼主观感知与真实自然颜色的相关度,自然度越大,代表图像颜色的质量越好.而图像主色调区域的颜色质量能够准确反映图像的色偏情况,因此提取图像主色调区域的自然度信息,对色偏图像和主色调图像进行检测,消除主色调图像的影响,从而提高色偏图像的检测准确率.主色调区域自然度的计算过程如下:

(1)提取图像主色调区域[21],具体方法如下:

①提取三维颜色直方图的最大值MaxHist;

②将MaxHist处的颜色在色调、饱和度和明亮度3个方向上与6个相邻颜色的频率进行比较,若颜色频率不低于相邻颜色的频率,则视为主色调;

③将频率相同又相邻的主色调合并,作为一个主色调,将该主色调像素组成的区域作为主色调区域.

(2)计算图像主色调区域的色彩自然度[22]

计算方法为:将图像主色调区域的像素按照色度大小分为皮肤、草地、天空三类,分别计算各类的自然度数值,最后将三类的自然度数值进行加权得出图像的整体自然度.

其中Si、ni、CNIi分别为皮肤、草地和天空的平均饱和度、像素数和自然度数值,i=1,2,3.CNI是图像主色调区域的自然度.

需要注意的是,并不需要严格分割这些区域内的其他对象,如橘子、水、叶子等,落在这些区域内,也把它们统称为皮肤、草、天空.

基于TID2008标准图像数据库、LIVE2标准图像库及网上收集的主色调图像与色偏图像(105 幅主色调图像、97幅色偏图像,将主色调图像按图像内容分为皮肤、天空、草地三类)进行实验实验结果如图3所示.

从试验结果中可以发现,主色调区域的自然度数值越大,图像质量越好.图中横坐标是实验图像的数量,纵坐标是CNI的数值.从图3可以看出:主色调图像中皮肤和草地CNI数值的变化介于0.75与1之间,部分天空CNI数值低于0.75,而色偏图像的CNI普遍低于0.75,所以可将CNI作为主色调图像和色偏图像的区分依据.实验证实CNI为1时,图像的颜色最接近自然色彩,反之,数值越小,图像颜色的质量越差.

图3 色偏图像和主色调图像 CNI统计图

通过对图3进行分析与总结,可将CNIfold=0.75作为色偏图像和草地图像(CCI>15的主色调图像)的检测阈值.

2.4 色偏检测

通过对图像色彩度与自然度实验结果的分析和综合,可根据参数的变化对图像进行分类:

3 实验结果与分析

为了检验本文算法的有效性,笔者从TID2008标准图像数据库、LIVE2标准图像库及网上收集了300幅图像,其中105幅主色调图像、97 幅色偏图像、98幅正常图像.对该图像集合分别执行了文献[19]的算法(基于图像统计信息的色偏检测算法)和本文算法,对两个算法的检测结果进行了对比,如表2所示.

表2 测试结果对比表

从表2可以看出,本文的方法在色偏图像、主色调图像和正常图像上的检测准确率都有了很大提高.为了能够更加直观地对比这两种算法,本文将两种算法的检测结果与人眼的主观评价结果进行对比,其中眼主观评价等级分为正常、偏红、偏蓝、偏绿.对比结果如表3所示.其中K:参考文献方法的色偏因子,K':本文方法的色偏因子,da、db:ab 平面的色度值,在本文方法中用于判断图像整体的偏色情况.

从表3可看出,传统的色偏检测算法受图像中主色调的影响,容易将主色调图像误判为色偏图像.如测试图像中的图4(a)和图4(d)所示,虽然图4(a)和图4(d)中草地和蓝色背景的覆盖面积均超过40%,但是图4(a)中女孩的脸呈现青色,所以图4(a)应为偏绿图像,而非主色调图像,图4(d)中男孩的脸呈现正常肤色,所以图4(d)为主色调图像.此外本文算法的色偏因子K'还能够准确反应图像的色偏程度,如图4(a)和图4(b)所示,图 4(a)的色偏严重,K'偏大,图 4(b)的色偏程度较轻,K'偏小.本文算法对图 4(a)、图 4(b)和图4(d)的检测结果与人眼主观评价的结果相一致.从检测结果来看,本文算法不仅能够消除主色调的影响,降低色偏图像的误判率,还能够准确计算色偏程度,提高图像的检测准确率.由表3可知,本文的算法与主观评价结果更为吻合.

4 结论

针对基于统计信息进行色偏检测的方法难以有效区分色偏图像和主色调图像,本文入了图像色彩度和色彩自然度,改进了色偏因子的计算方法.并通过实验进行了验证,实验结果表明,本文所提出的方法能够有效地区分色偏图像和主色调图像,判断偏色情况,更准确的计算色偏程度,且与主观评价相一致.

图4 测试图像

表3 实验结果对比表

1 Liu BZ,Qiu GP.Illuminant classification based on random forest.Proc.of 14th IAPR International Conference on Machine Vision Applications (MVA).Miraikan,Tokyo,Japan.2015.106–109.

2 Pan B,Jiang ZG,Zhang HP,et al.Improved grey world color correction method based on weighted gain coefficients.Proc.of SPIE 9273,Optoelectronic Imaging and Multimedia Technology.Beijing,China.2014.

3 Kim SK,Jung SW,Choi KA,et al.A novel automatic white balance for image stitching on mobile devices.Proc.of IEEE International Conference on Consumer Electronics.Las Vegas,NV,USA.2011.659–660.

4 Wang YF,Luo YP.Color constancy using bright-neutral pixels.Journal of Electronic Imaging,2014,23(2):023011.[doi:10.1117/1.JEI.23.2.023011]

5 Kyung WJ,Kim DC,Ha HG,et al.Color enhancement for faded images based on multi-scale gray world algorithm.Proc.of 2012 IEEE 16th International Symposium on Consumer Electronics.Harrisburg,PA,USA.2012.1–4.

6 冯亚丽,黄静.一种新的基于 MSRCR 光照补偿算法.计算机系统应用,2012,21(9):188–192.

7 Bianco S,Schettini R.Color constancy using faces.Proc.of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,USA.2012.65–72.

8 Tai SC,Liao TW,Chang YY,et al.Automatic white balance algorithm through the average equalization and threshold.Proc.of 2012 the 8th International Conference on Information Science and Digital Content Technology.Jeju,South Korea.2012.571–576.

9 Yang AP,Zheng J,Wang J,et al.Underwater image restoration based on color cast removal and dark channel prior.Journal of Electronics &Information Technology,2015,37(11):2541–2547.

10 Huang CQ,Zhang Q,Wang H,et al.A low power and low complexity automatic white balance algorithm for AMOLED driving using histogram matching.Journal of Display Technology,2015,11(1):53–59.[doi:10.1109/JDT.2014.2360375]

11 Wang S,Zhang YW,Deng P,et al.Fast automatic white balancing method by color histogram stretching.Proc.of 2011 the 4th International Congress on Image and Signal Processing.Shanghai,China.2011.979–983.

12 Liao YY,Lin JS,Tai SC.Color balance algorithm with zone system in color image correction.Proc.of IEEE the 6th International Conference on Computer Sciences and Convergence Information Technology.Seogwipo,South Korea.2011.167–172.

13 Chen L,Zhu DW,Tian J,et al.A two-stage blind image color correction using color cast estimation.CCPR 2014.Communications in Computer and Information Science.Berlin,Heidelberg.2014.72–80.

14 Pan B,Jiang ZG,Zhang HP,et al.Improved grey world color correction method based on weighted gain coefficients.Proc.of SPIE 9273,Optoelectronic Imaging and Multimedia Technology.Beijing,China.2014.

15 杨爱萍,郑佳,王建,等.基于颜色失真去除与暗通道先验的水下图像复原.电子与信息学报,2015,37(11):2541–2547.

16 徐晓昭,蔡轶珩,刘长江.基于图像分析的偏色检测及颜色校正方法.测控技术,2008,27(5):10–12,21.

17 Li F,Wu JY,Wang YK,et al.A color cast detection algorithm of robust performance.Proc.of IEEE the 5th International Conference on Advanced Computational Intelligence.Nanjing,China.2012.662–664.

18 Miao MJ,Yuan Y,Liu YH,et al.Color cast detection method based on multi-feature extraction.IGTA 2014.Communications in Computer and Information Science.Berlin Heidelberg.2014.103–109.

19 Gasparini F,Schettini R.Color balancing of digital photos using simple image statistics.Pattern Recognition Society,2004,37(6):1201–1217.[doi:10.1016/j.patcog.2003.12.007]

20 Hasler D,Susstrunk SE.Measuring colorfulness in real images.Proc.of SPIE 5007,Human Vision and Electronic Imaging VIII.Santa Clara,CA,USA.2003.87–95.

21 Medjahed SA.A comparative study of feature extraction methods in images classification.International Journal of Image,Graphics and Signal Processing,2015,7(3):16–23.[doi:10.5815/ijigsp.2015.03.03]

22 Huang KQ,Wang Q,Wu ZY.Natural color image enhancement and evaluation algorithm based on human visual system.Computer Vision and Image Understanding,2006,103(1):52–63.[doi:10.1016/j.cviu.2006.02.007]

Color Cast Detection Based on Color-Feature Analysis

LI Zhi-Jiang,HU Zun-Lan
(School of Printing and Packaging,Wuhan University,Wuhan 430072,China)

Color cast detection is widely used in machine vision and related fields.Traditional algorithms mostly depend on certain assumptions or prior knowledge.In this paper,a new cast detection approach based on color-feature analysis is proposed,which involves image colorfulness and color naturalness.Experiments show that this approach can eliminate the influence of dominant colors,improve the detection accuracy,match the subjective evaluation according to the human visual system,and is effective on more occasions.

digital image;color cast;image analysis;color-feature

李治江,户尊兰.基于颜色特征分析的色偏检测算法.计算机系统应用,2017,26(9):116–121.http://www.c-s-a.org.cn/1003-3254/5947.html

①基金项后:国家自然科学基金(41671441)

2016-12-18;采用时间:2017-01-18