基于计算机视觉的弱化阴影测量

侯志刚,崔华飞,胡 斌,张云海,方宝晟,徐从旺

(1.烟台大学机电汽车工程学院,山东 烟台 264005;2.中国科学院自动化研究所,北京 100190)

传统的工业机器人只能在结构化和封闭环境中进行工作,而在智能制造生产过程中,机器人要面对的往往是位置和姿态未知的动态目标。

在当前的研究中,视觉测量是实现动态目标检测的主要方法。但在自然光照下,物体阴影会影响计算机视觉测量效果,大多数的阴影检测和去除多采用固定场景下的自然图像进行模型训练[1],同时深度学习易受到数据集规模的限制。KHAN等[2]基于卷积神经网络进行阴影检测和去除,但因受数据集规模等因素影响不能应对新鲜样本;而QU等[3]基于卷积神经网络通过阴影图像中的阴影外表和语义信息为图像生成蒙版从而去除阴影;WANG等[4]通过堆叠两个条件生成对抗网络进行阴影检测和去除,但上述两者的数据集构建困难,易造成阴影去除后的边界不连贯,实际应用困难。

除此之外,基于深度学习的阴影检测和去除算法泛化能力较弱。张淑萍等[5]对对抗网络进行优化,利用不同模块对不同类型阴影进行去除,从而提高阴影去除后的边界平滑度,但针对未知场景的阴影去除性能会下降;LE等[6]在对抗网络的基础上生成衰减阴影图像,该方法能够准确辨别真实阴影,但针对新鲜样本的处理能力较弱。故基于深度学习的阴影去除方法现阶段还难以与具体的应用相结合。

目前处于应用领域的计算机视觉测量多设置背光光源[7]等外部光源,或设置对比度高的深色背景[8],以消除物体阴影影响,提高物体轮廓辨识度,这增加了测量设备的复杂程度,提高了测量成本,同时不利于未知状态下的测量。

针对上述问题,通过对不同背景下的HSV图像进行阴影弱化,提出了3层筛选法对灰度图进行修饰,从而提高自然光下的计算机视觉测量精度,能够对抓取的目标物进行准确的尺寸测量,为机器人末端夹具闭合程度提供参考,避免对目标物体造成夹伤等破坏性后果。

1 测量流程构建

1.1 HSV图像概述

图1所示的HSV颜色模型是根据颜色的直观特性创建的一种颜色空间,HSV代表3个颜色分量,分别为色调(Hue)、饱和度(Saturation)和亮度(Value)。色调表示色彩信息,即所处的光谱颜色的位置; 饱和度表示所选颜色的纯度与该颜色最大的

图1 HSV颜色模型

纯度之间的比率;亮度表示色彩的明亮程度[9]。相较于常见的RGB图像,HSV图像的3个分量可单独处理,有利于处理亮度较低的情况[10],可以更好地表达不同背景下的阴影区域,即相同色调下,饱和度值高,亮度值低的区域。

1.2 弱化阴影测量流程

针对目标物的二维测量,在实验室环境中会设置恒定光照来弱化阴影对测量的影响。在有时变噪声的工业生产环境中,环境光会使目标物周围产生阴影,使测量产生较大误差,所以会采用封闭的照明方式或补光屏蔽阴影影响,增强轮廓辨识度[11]。这增加了轮廓捕获的精度,但增加了测量设备的复杂程度,因此提出环境光下弱化阴影噪声的测量方案,图2为测量流程。

图2 弱化阴影的测量流程

为了完成不同环境下的轮廓测量,需考虑背景复杂和目标物颜色与背景颜色相近的状况,故需事先拍摄无目标物的背景图,与相同拍摄条件下含有目标物的目标物图对比,判断目标物位置,并通过图像相减消除大部分背景。

1.3 复杂或相似颜色背景判断

对复杂背景进行通道分离可以发现(图3),与单一背景相比,H、S通道的数据会更为离散,而V通道易受光照的影响,通过计算背景图片H、S通道的标准差,并设置标准差阈值判断背景是否复杂。

图3 分离通道对比

排除复杂背景的状况后,需判断目标物与背景颜色是否相近。通过计算目标物图H通道最值的差值进行判断,但容易被斑点噪声影响,使原本颜色相近的状况判断为对比明显的背景。为消除此类影响,本文采取网格划分的方式分割目标物图H通道,通过设置合适的网格数量(本研究为40行×40列),计算单一网格中所有数据的平均值,筛选平均值中的最值,用此最值的差值判断目标物与背景颜色是否相近,分割前后对比可以发现轮廓周围白色斑点被均匀化(图4),从而减小斑点噪声对判断目标物与背景颜色相近度的影响。

图4 H通道分割前后对比

1.4 弱化阴影程序

在单一通道中,偏白色的像素值比偏黑色的像素值大,对有阴影的图像进行通道分离,图5对比3个通道中被阴影覆盖的区域和没有被阴影覆盖的区域,H通道两者无明显区别,S通道下被阴影覆盖的区域的饱和度更高,V通道下被阴影覆盖的区域的值更低。针对光照强度不足的环境,往往通过调节V通道实现图像增强[12]。

图5 阴影区域各通道

为实现弱化阴影的效果,对背景图的V通道进行卷积操作,削弱亮度影响,并将其赋值给目标图的V通道,图6为效果对比。

图6 弱化阴影

1.5 目标物与背景颜色相近处理

在确定目标物与背景颜色相近后,通过目标物图与背景图中的H通道相减,然后进行二值化处理,见图7(a),将包括阴影和目标物的区域筛选出来,对该区域的S通道进行伽马调节,降低饱和度,提高目标物轮廓对比度如图7 (b),弱化阴影后的效果如图7(c),相比程序处理前原图如图7 (d)中阴影变化明显。

图7 目标物与背景颜色相近处理

1.6 三层筛选过滤噪声

复杂背景情况下运用背景差分法,使背景图和目标图H、S、V三通道对应相减,分离三通道后,效果图及H、S、V各通道如图8。

图8 背景差分效果

通过背景差分法得到的效果图会残留大块的噪声,且目标物轮廓与背景对比并不明显,对后期测量造成极大影响。故提出3层筛选法,从大块噪声中筛选出目标物,并增强目标物轮廓,图9为流程。

图9 3层筛选法流程

单一通道中,白色像素值大于黑色像素值,通过计算灰度图1、2的均值,比较两者大小,判断目标物相对于背景的灰度偏向,目标物偏向于白色,则M>N;反之,M

图10为通过3层筛选法得到的各层筛选效果。

图10 3层筛选

2 实验结果对比

该方案基于Visual Studio 2019平台,使用C++在Opencv 3.4.1中进行编译。在硬件为内存8GB,Intel Core I7-4710HQ CPU,图像处理器为NVIDIA GTX 850M条件下,程序处理时间在0.8 s以内,满足该项目的基本需要。实验发现,与对比度明显且单一背景图像相比,复杂背景图像的处理耗时较长,同时图像处理效率受图像分辨率大小影响,图像分辨率越大,耗时越长,反之越短。

利用弱化阴影程序,对自然光下不同背景中的木块进行测量,木块实际尺寸为30 mm×30 mm(图11),通过与运用测量程序直接测量得到的数据进行对比(图12右下角圆圈内为木块测量数据放大图,数据单位为mm)。通过对比程序处理前后数据可以发现(表1、2),针对误差较大的方向,相比于运用Canny算子对未处理的灰度图进行边缘检测,目标物测量误差能够减小75%以上,同时针对误差较小的方向也有良好的改善。

图11 木块实际尺寸

图12 程序处理前后对比

表1 弱化阴影前测量数据

表2 弱化阴影后测量数据

3 结 语

本文针对自然光下阴影干涉的状况,提出了一种弱化阴影测量方案,同时针对复杂背景及相近色背景,分别提出了3层过滤筛选法和饱和度伽马矫正法,去除了背景差分法残留的大块噪声。运用该方案对不同背景下的灰度图进行处理,使机器人能够应对不同未知场景下物体尺寸测量,相比于常用的深度学习算法去除阴影,实践应用价值较高。通过实验对比,该方案能够有效提高测量精度,给机器人提供合理的数值参考以便于控制末端执行器开合程度。