一种基于色彩补偿的水下图像综合增强算法

杨 淼，王海文，胡 珂，殷 歌，胡金通

一种基于色彩补偿的水下图像综合增强算法

杨 淼1,2，王海文1，胡 珂1，殷 歌1，胡金通1

(1. 江苏海洋大学电子工程学院，江苏 连云港 222005； 2. 青岛海洋科学与技术试点国家实验室，山东 青岛 266237)

针对退化的水下图像在高级视觉分析任务中无法进行有效的目标检测及识别的问题，提出了一种通过色彩补偿和对比度拉伸，HSV空间校正和亮度通道去模糊系列方法实现了对水下图像的色彩校正、色彩对比度、饱和度和细节清晰度的综合提高。其中，提出了基于高斯滤波的亮度通道去散射方法，并对典型水体水下图像综合增强参数进行了分析。实验对比了综合增强方法和其他增强方法对偏蓝、偏绿、偏黄、白色近岸浅滩水下图像的处理结果并通过目标检测网络对7种算法增强后的水下图像数据集进行训练与测试，对比了平均水下目标识别准确率和检测到的目标数量与实际目标数量的比值来评估各个增强算法对于水下目标识别和检测任务中的作用。实验表明，与现有方法相比，该算法不仅可以有效地实现各类水下图像清晰度和色彩增强，适用范围广，而且可以有效地提高水下图像目标识别任务的准确率和检测数量。

水下图像增强；高斯滤波；亮度通道去散射；目标检测；水下图像质量评价

水下视觉是海洋探测、海洋生物调查、水下工程监测中重要的科学研究依据[1-5]。近年来国内外学者在基于Retinex模型[6]、暗通道先验[7-12]、暗通道与色彩校正相结合[13]、色彩平衡和补偿衰减[14]、图像融合[15]等方面提出了很多水下图像复原、增强方法。这些传统方法无法综合地解决由多种退化混合叠加造成水下图像质量退化，且适应水下环境变化的能力较差。随着人工智能技术的发展，基于深度学习的水下图像增强算法逐渐成为了研究热点，如YU等[16]基于生成式对抗网络的水下图像复原网络，模拟水下成像模型获得一个水下图像数据集；PENG和COSMAN[17]提出了基于深度学习的水下图像增强网络，从训练集中学习退化及恢复的水下图像之间的特征映射关系，从而实现对测试集中退化的水下图像进行增强；LI等[18]提出了基于水下场景先验知识和卷积神经网络的水下图像增强网络，无需估计水下成像模型的参数，可直接生成清晰的水下图像；YANG等[19]基于条件生成式对抗网络的水下图像增强方法，用多尺度生成器实现水下图像增强。

本文提出了一种可用于水下目标检测预处理的水下图像综合增强方法(underwater image competive enhancement method，UICEM)。处理流程如图1所示。通过对近岸水下图像衰减的分析，在补偿红通道衰减的基础上，进行色偏校正、HSV ((色调)Hue，(饱和度) Saturation，(亮度)Value)颜色空间校正和亮度通道去模糊处理来分别达到衰减补偿、提高对比度和清晰度的目的。另外，基于水下图像光亮度分布的局部尺度特征，提出了一种用于亮度空间的单通道去模糊方法。通过对多种类型水下图像的主观和目标检测实验证明，本文算法在视觉效果和增强后的评估指标上均明显优于现有的水下图像复原、增强算法。

图1 水下图像综合增强方法流程图

1 水下图像综合增强算法

根据Jaffe-McGlamery水下成像模型，退化的水下图像可描述为

1.1 水下图像红通道色彩补偿

1.2 色彩校正

1.3 HSV均衡和去模糊

1.3.1 HSV均衡

γ校正曲线如图2所示，对归一化后灰度图像，当α3k<1时，低灰度值动态范围变大，高灰度值动态范围变小，图像整体的灰度值变大。相反，当α3k>1时，低灰度值动态范围变小，高灰度值动态范围变大。因此对于存在低对比度的水下图像，选取大于1的α3k值，可提高目标对比度。

1.3.2 亮度去模糊

1.4 参数估计

2 实 验

本节对比了UICEM和其他增强方法对偏蓝、偏绿、偏黄、白色近岸浅滩水下图像的处理结果。选取的比较方法主要包括：文献[7]、[10]、[13]、[6]和文献[15]提出的方法。还将本文方法与基于深度学习的UWCNN (underwater image enhancement convolutional neural network)方法[18]进行了单独比较。在实验中，暗通道和高斯滤波器的滤波窗口大小为15×15，1=1.0，2=2.3，3H=2.9，3S=2.3，3V=2.3，其他用于对比的各种方法中的参数均参照原文设置。

2.1 4类水下图像增强结果对比

实验结果如图3和图4。可以看出，文献[13]、文献[6]和文献[15]提出的方法对4类水下图像都取得了一定程度的色彩复原，但无法同时取得比较好的增强效果。文献[7]的红通道法对偏蓝水下图像色彩复原效果不佳，对存在黄色目标的水下图像，由于补偿红色而使得复原后图像中的黄色目标偏绿，如图3(b)中第1幅图片。文献[13]方法存在暗区域模糊和色彩伪影问题；文献[10]和文献[13]增强后的图像暗区域的对比度均较低；文献[6]方法输出图像存在边缘模糊的问题。而本文方法对4类水下图像均取得了色彩和对比度的提高，且图像细节的清晰度也得到了增强。本文从UIEBD (an underwater image enhancement benchmark dataset and beyond)数据集[21]中选取了偏色和低对比度的水下图像用UWCNN方法[18]和本文方法分别进行增强。实验结果如图4所示，可以看出，对偏色水下图像进行增强时，本文方法可以更有效地校正偏色，并保留图片细节；对低对比度水下图像进行增强时，本文方法能够更显著地提高对比度，且未导致偏色。

图3 4类水下图像处理结果对比((a)原始图像；(b)文献[7]；(c)文献[10]；(d)文献[13]；(e)文献[6]；(f)文献[15]；(g)本文UICEM)

图4 本文UICEM与UWCNN[18]处理结果对比((a)偏色水下图像；(b)UWCNN[18]处理结果；(c)UICEM处理结果；(d)低对比度水下图像；(e)UWCNN[18]处理结果；(f)UICEM处理结果)

2.2 目标检测对比

水下图像增强的目的不仅是为了主观视觉质量的改进，更主要的是为了能够完成更高级别的视觉分析任务(例如目标识别和检测)。本文通过目标检测网络模型对经过7种算法增强后的水下图像数据集进行训练与测试，对比了平均水下目标识别准确率(mean average precision, mAP)和检测到目标数量与实际的目标数量的比值(Num)来评估各个增强算法对于水下目标识别和检测任务中的作用。实验的图像数据来自于RUIE (real-world underwater image enhancement)[22]近海水下图像数据集，该数据集提供3类海洋生物，即扇贝、海胆和海参的边界框和标签。由于这3种海洋生物的外观和周围环境十分相似，因此对该数据集进行目标检测及识别均具有一定的挑战性。本文从该数据集中选取2 400张标记过的水下图像作为实验图像，图像归一化大小为300×400。其中2 000张图像作为训练集，400张图像为测试集。用各种方法增强后的RUIE数据集重新训练目标检测网络YOLO-V3[23]并对3种目标进行检测，结果如图5和表1所示。3类目标的识别准确率和检测率如图6所示。在图像未经过增强处理前，mAP和Num分别为0.323和0.347。

图5 部分测试集中水下图像增强后的目标检测结果((a)水下图像原图；(b)文献[11]；(c)文献[8]；(d)文献[7]；(e)文献[6]；(f)文献[13]；(g)文献[10]；(h)本文UICEM算法)

表1 目标识别准确率(mAP)及检测率对比(Num)(%)

图6 目标识别准确率及检测数量比((a)目标识别准确率；(b)检测数量比)

从表1可以看出，大多数增强方法由于改善了水下图像存在的退化，提高了清晰度和对比度，mAP和Num相较于未增强的图像均有相应的提高，因此说明了水下图像增强在高级视觉任务中作为预处理的必要性。图像对比度的提高对于目标检测任务具有重要的影响，因此，文献[6]的方法和本文方法的mAP和Num均高于其他增强方法。而本文的UICEM改善了由于后向散射等造成的模糊，提高了目标清晰度，获得了最高的93.3%的目标检测率和85.24%的目标识别准确率。由图6可以看出，对其他增强方法输出的图像进行检测时，对海参这种与海底环境较为相似的目标的识别率相对于其他2种目标较低。而本文方法增强后的水下图像进行识别时，对3类目标均有相近的识别正确率。

3 结 论

本文提出的UICEM方法旨在通过提高水下图像质量有效地实现对水下彩色图像进行目标检测和识别。本文基于色彩补偿、色偏校正和HSV空间的对比度提高和去模糊，结合水下图像分类参数分析，实现了对4类水下图像的有效增强。与其他方法相比，本文UICEM所产生的结果具有更好的色调复原及清晰度提高效果，适用于各种水下环境拍摄的图像，采用本文方法进行水下图像预处理，可有效提高高层次水下视觉任务性能。

[1] LI Y J, LU H M, ZHANG L F, et al. Real-time visualization system for deep-sea surveying[J]. Mathematical Problems in Engineering, 2014(1): 1-10.

[2] SPAMPINATO C, PALAZZO S, BOOM B, et al. Understanding fish behavior during typhoon events in real-life underwater environments[J]. Multimedia Tools and Applications, 2014, 70(1): 199-236.

[3] HUANG P X, BOOM B J, FISHER R B. Fish4 knowledge deliverable D1.3 fish recognition and clustering[EB/OL]. (2012-11-01) [2020-07-10]. http://homepages.inf.ed.ac.uk/rbf/Fish4Knowledge/DELIVERABLES/Del13.pdf.

[4] YANG M, HU J T, LI C Y, et al. An in-depth survey of underwater image enhancement and restoration[J]. IEEE Access, 2019, 7: 123638-123657.

[5] YANG M, SOWMYA A, WEI Z Q, et al. Offshore underwater image restoration using reflection- decomposition-based transmission map estimation[J]. IEEE Journal of Oceanic Engineering, 2020, 45(2): 521-533.

[6] FU X Y, ZHUANG P X, HUANG Y, et al. A retinex- based enhancing approach for single underwater image[C]//2014 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2014: 4572-4576.

[7] GALDRAN A, PARDO D, PICÓN A, et al. Automatic red-channel underwater image restoration[J]. Journal of Visual Communication and Image Representation, 2015, 26: 132-145.

[8] HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353.

[9] YANG M, YIN B, WEI Z Q, et al. Effective estimation of background light in underwater image dehazing[J]. OSA Continuum, 2019, 2(3): 767-785.

[10] PENG Y T, COSMAN P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[11] CARLEVARIS-BIANCO N, MOHAN A, EUSTICE R M. Initial results in underwater single image dehazing[C]//IEEEOceans 2010. New York: IEEE Press, 2010: 1-8.

[12] EMBERTON S, CHITTKA L, CAVALLARO A. Hierarchical rank-based veiling light estimation for underwater dehazing[C]//2015 British Machine Vision Conference. Durham: British Machine Vision Association Press, 2015: 125.1-125.12.

[13] LI C Y, GUO J C, GUO C L, et al. A hybrid method for underwater image correction[J]. Pattern Recognition Letters, 2017, 94: 62-67.

[14] 杨淼, 纪志成. 基于模糊形态筛和四元数的水下彩色图像增强[J]. 仪器仪表学报, 2012, 33(7): 1601-1605. YANG M, JI Z C. Underwater color image enhancement based on quaternion and fuzzy morphological sieves[J]. Chinese Journal of Scientific Instrument, 2012, 33(7): 1601-1605 (in Chinese).

[15] ANCUTI C O, ANCUTI C. Single image dehazing by multi-scale fusion[J]. IEEE Transactions on Image Processing, 2013, 22(8): 3271-3282.

[16] YU X L, QU Y Y, HONG M. Underwater-GAN: underwater image restoration via conditional generative adversarial network[C]//2018 International Conference on Pattern Recognition. Cham: Springer International Publishing, 2018: 66-75.

[17] PENG Y T, COSMAN P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[18] LI C Y, ANWAR S, PORIKLI F. Underwater scene prior inspired deep underwater image and video enhancement[J]. Pattern Recognition, 2020, 98: 107038.

[19] YANG M, HU K, DU Y X, et al. Underwater image enhancement based on conditional generative adversarial network[J]. Signal Processing: Image Communication, 2020, 81: 115723.

[20] HOU M J, LIU R S, FAN X, et al. Joint residual learning for underwater image enhancement[C]//The 25th IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2018: 4043-4047.

[21] LI C Y, GUO C L, REN W Q, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2020, 29: 4376-4389.

[22] LIU R, FAN X, ZHU M, et al. Real-world underwater enhancement: challenges, benchmarks, and solutions[EB/OL]. [2020-07-10]. https://arxiv.org/abs/1901.05320.

[23] REDMON J, FARHADI A. Yolov3: an incremental improvement[EB/OL]. [2020-07-10]. https://arxiv.org/abs/1804.02767.

An underwater image comprehensive enhancement algorithm based on color compensation

YANG Miao1,2, WANG Hai-wen1, HU Ke1, YIN Ge1, HU Jin-tong1

(1. School of Electronic Engineering, Jiangsu Ocean University, Lianyungang Jiangsu 222005, China; 2. Pilot Qingdao National Laboratory for Marine Science and Technology, Qingdao Shandong 266237, China)

A novel underwater image compositive enhancement method was proposed to improve the quality of underwater images, thereby synthetically boosting the performance of high-level visual analysis. A series of operations, including color compensation and correction, gamma correction in the HSV space, and final brightness de-blurring, were combined to realize color restoration, contrast and clarity improvements for underwater images. A method of brightness channel de-scattering based on Gauss filtering was proposed, and the comprehensive enhancement parameters of typical underwater images were analyzed. The experiments in this paper compared the processing results of the compositive enhancement method and other enhancement methods for the bluish, greenish, yellowish, and whitish nearshore shoal underwater images, and trained and tested the underwater image data sets enhanced by seven algorithms through the target detection network. Comparisons were also made between the average underwater target recognition accuracy rate and the ratio of the number of detected targets to the actual target number, so as to evaluate the effect of each enhancement algorithm on underwater target recognition and detection tasks. The experiment results demonstrate that the proposed method can achieve substantial image clarity improvement and color restoration, and is widely applicable, compared with the existing methods. At the same time, it can effectively improve the accuracy of underwater target recognition and the number of the detected objects.

underwater image enhancement; Gauss filtering; brightness channel de-scattering; object detection; underwater image quality evaluation

TP 391

10.11996/JG.j.2095-302X.2021010059

A

2095-302X(2021)01-0059-06

2020-07-17；

17 July，2020；

2020-08-13

13 August，2020

江苏省基础研究计划(自然科学基金) (BK20191469)；江苏科技大学海洋装备研究院高技术协同创新项目(HZ20190005)；江苏省研究生科研创新项目(KYCX19_2314，KYCX20_2768，KYCX20_2769)；国家自然科学基金青年项目(61601194)

：Jiangsu Basic Research Program (Natural Science Fund) (BK20191469); High-Tech Collaborative Innovation Project of Marine Equipment Research Institute of Jiangsu University of Science and Technology (HZ20190005); Jiangsu Province Graduate Research and Innovation Project (KYCX19_2314, KYCX20_2768, KYCX20_2769); National Natural Science Foundation Youth Project (61601194)

杨 淼(1978-)，女，黑龙江五常人，教授，博士，硕士生导师。主要研究方向为水下视觉、图像处理、计算机视觉。 E-mail：lemonmiao@gmail.com

YANG Miao (1978-), female, professor, Ph.D. Her main research interests cover underwater vision, image processing and computer vision. E-mail：lemonmiao@gmail.com