基于机器视觉的集装箱锁孔识别算法研究

宓为建,张志伟,宓超

(1.上海海事大学集装箱供应链技术教育部工程研究中心,上海 201306; 2.上海海事大学物流工程学院,上海 201306)

基于机器视觉的集装箱锁孔识别算法研究

宓为建1,张志伟2,宓超1

(1.上海海事大学集装箱供应链技术教育部工程研究中心,上海 201306; 2.上海海事大学物流工程学院,上海 201306)

随着自动化码头的发展,集装箱智能视觉系统开始广泛应用.提出了一种集装箱锁孔自动化定位识别方法辅助大型港口设备的自动化、智能化.该方法首先利用视觉图像中的颜色特征定位集装箱箱体位置和角件位置,然后通过边缘检测和霍夫变换精确定位锁孔.经过厦门远海码头的现场试验,该方法在集装箱锁孔识别定位上不仅具有优秀的识别率,而且满足了港口自动化的实时性要求.

集装箱; 锁孔识别; 机器视觉.

近年来,自动化集装箱港口已成为全球港口的重点建设项目.港口大型工程机械设备也开始朝着自动化和智能化方向发展.在早期的自动化集装箱港口,如上海港,桥吊设备是由编码器自动引导控制的,但是这种方式灵活性差且效率低下[1].相比之下,目前的桥吊设备更加智能化,越来越多的研究学者和工程师也开始通过不同的方式来使港口设备变得更加灵活高效.

随着机器视觉技术的发展,越来越多的研究人员和工程师使用机器视觉方案来满足自动化港口的需求.Mi等应用图像处理方法解决了港口工作人员的安全问题[2];SHAPIRA和YANG运用机器视觉系统改善了桥吊起重机的操作[3-4];PENG也研究了基于机器视觉的起重机操作改善[5].这些都是运用机器视觉系统来跟踪和改善起重机的操作,许多研究都集中在起重机的辅助功能上,如人员的安全性和辅助操作,而其他研究则集中在起重机的自动化上.SANO等提出一种基于机器视觉的防摆控制方法[6];PARK则开发了基于图像处理的集装箱起重机自动着陆系统[7].这些都是运用机器视觉系统跟踪大目标,对于快速跟踪和定位形状小而关键的目标仍难以用视觉系统来解决.对于全自动化集装箱码头,集装箱附件设备的识别对于大型机械设备的自动化非常重要,但目前却鲜有研究.

因此本文提出了一种集装箱锁孔的识别定位方法来定位锁孔的精确位置,该方法首先利用颜色特征定位集装箱位置,然后在箱体角件图中进行边缘检测和霍夫变换识别以精确定位锁孔.本方法在集装箱锁孔识别定位上不仅具有优秀的识别率,而且满足港口自动化的实时性需求.

1 集装箱箱体定位

港口装卸工作中采集到的集装箱图像通常背景较为复杂,直接识别锁孔难度较大.因此,本文首先利用集装箱与背景的颜色差异分割出箱体图像.

1.1 HSV颜色空间

在数字图像中,最常用的颜色空间是RGB颜色空间,但RGB的空间结构并不符合人们对颜色的主观判断.本文采用的HSV颜色空间更加接近于人们对颜色的主观认识.H,S,V表示色彩、饱和度和数值.图 1为集装箱原始RGB图像和变换后的H通道图像.

图1 集装箱RGB图像和HSV空间的H通道图像Fig.1 RGB image and the H channel image of container in HSV color space

1.2 箱体定位

如图 1所示,H通道显示出图像的颜色特征,从中可以看出集装箱颜色与背景区别较大,箱体在整幅图中所占比例也最多.基于上述原理,本文的集装箱定位具体算法如下:

(1) 扫描H通道图像,统计所有像素点的H值,得到频次最大的颜色等级Hm.

(2) 根据公式1对H通道图像二值化.

(1)

式中：s(x,y)为原H通道的图像像素值;f(x,y)为二值化的图像像素值；t为箱体的颜色值范围.

由式(2)得到:

(2)

式中：Ni为像素值为i的点的个数;p表示H通道图中箱体所占的最小比例,本文取p为0.3.去除离散噪声点后,二值化效果如图 2所示.

图2 集装箱图像二值化Fig.2 Container image binarization

(3) 对图 2进行x,y轴投影,并对投影曲线二值化,如图 3所示,则第一个上升沿和最后一个下降沿为集装箱的边沿位置.

图3 x及y轴投影结果Fig.3 Projection image on the x & y axis

(4) 如图 4所示,通过投影曲线确定上下左右4个边沿坐标,分割出集装箱箱体图像.

图4 箱体定位结果图Fig.4 Container positioning image

2 集装箱锁孔识别

由于港口集装箱锁孔附近色彩差异较小,而孔洞的明暗对比强烈，因此本文利用V通道图像的明度特征来进行锁孔识别.

2.1 直方图均衡化

港口装卸作业的光线复杂,昼夜的极端光照都会导致V通道图像局限在一个很小的灰度范围内,画面模糊,严重影响锁孔特征的提取和识别.本文首先对V通道图像采取直方图均衡化的预处理,降低光线的影响和计算量.

直方图均衡化的基本原理是对像素分布较多的灰度值进行拓宽,对像素分布较少的灰度值进行归并,具体算法如下:

(1) 将图像各像素点灰度归一化到0～1范围;

(2) 计算图像各灰度级中像素出现的概率分布h(ri),如式(5);

(3) 计算直方图累计分布函数:

(3)

式中:sk表示均衡化后的灰度值;T(rk)为累计分布函数;nj是原图中某个灰度级j的像素数量;j的范围是0～k;N是图像像素总数.

(4) 利用式(3)进行图像灰度变换,并将得到的灰度级回复成原先范围.

均衡化后的图像更加清晰,细节部分更加明显.

3.2 锁孔定位

如图5所示,y轴投影曲线的左右两处的陷波在集装箱原图中对应角件的边界位置.本文的锁孔识别算法首先根据陷波位置分割出角件图像再进行锁孔识别,具体算法流程如下:

图5 锁孔初步定位示意图Fig.5 Schematic diagram of hanging holes initial location

(1) 先利用均衡化后的灰度图中的两处陷波位置确定集装箱下角件位置.

以右下锁孔为例,锁孔位于角件上.设下陷波位置为v2,即角件的高度.角件为标准件,比例λ固定,则其宽度为λv2.考虑到存在误差,则由式(4)可以分割出角件图像.

(4)

式中:x1,y1为角件分割图的起始位置坐标;δ2,δ1分别为上下两个位置的误差量.

(2) 对角件图进行canny边缘检测,并利用霍夫变换将原图像空间(x,y)映射到参数空间(a,b,r)中进行圆形检测.由于霍夫变换后的参数空间为三维空间,若直接搜索相当耗时,难以满足实时性要求.本算法根据锁孔角件的比例固定可以确定锁孔的半径的大小r=avi,则霍夫变换公式变为

(5)

式中：a为标准角件高度与锁孔半径的比例;v1为对应陷波的位置坐标.本算法半径r可以直接确定在[av1,a(v1+δ2)]范围内,减少了未知参数个数,降低了霍夫变换的空间维度,缩短了检测时间,其最终检测结果如图6所示.

图6 角件边缘检测Fig.6 Edge detection of corner casting image

(3) 最后将检测结果返回原图中,确定集装箱锁孔位置.

4 试验结果和分析

在厦门远海码头,该系统已经完成集装箱装卸作业区数个现场试验,如图 7所示.现场测试结果见表1，由表1可知：系统对集装箱锁孔的识别定位结果满足实际要求.

图7 集装箱锁孔识别的现场测试结果Fig.7 Field test result of container hanging holes recognition表1 试验结果Tab.1 Test results

环境样本数/个检出并正确定位/个未检出/个正确率/%检测时间/ms白天5008693995.7%120夜晚5008255793.4%120

在现场图像采集中,每个集装箱仅需要检测两个下锁孔.由于存在部分遮挡,锁孔总数不足1 000个.根据表1的现场试验结果,本算法在白天的识别率达到95%以上,在夜晚也达到了93%以上,具有良好的识别定位效果.检测时间为120 ms,满足港口的实际要求.

5 结论

针对目前港口快速跟踪和定位形状小而关键的目标的问题,本文提出了一种基于机器视觉的集装箱锁孔快速识别定位方法.该方法利用颜色特征定位集装箱箱体位置,再定位锁孔所在的角件位置,并通过边缘检测和霍夫变换精确定位锁孔.该方法在白天和夜晚的识别率均达到93%以上,满足了港口自动化的实时性要求.

[1] XIE Y,YAO Z Q,BAO Q F,et al.Design,optimization and simulation of automated and unmanned empty container yard of Shanghai International Port[C]∥ International Conference on Industrial Engineering and Engineering Management IEEM.12th International Conference on Industrial Engineering and Engineering Management,Beijing:China Machine Press,2005:1231-1235.

[2] MI C,HE X,LIU H,et al.Research on a fast human-detection algorithm for unmanned surveillance area in bulk ports[J].Mathematical Problems in Engineering,2014,2014:1-17.

[3] SHAPIRA A,ROSENFELD Y,MIZRAHI I.Vision system for tower cranes[J].Journal of Construction Engineering & Management,2008,134(5):320-332.

[4] YANG J,VELA P A,TEIZER J,et al.Vision-based crane tracking for understanding construction activity[J].Journal of Computing in Civil Engineering,2014,28(1):103-112.

[5] PENG K C C,SINGHOSE W,BHAUMIK P.Using machine vision and hand-motion control to improve crane operator performance[J].IEEE Transactions on Systems Man and Cybernetics-Part A Systems and Humans,2012,42(42):1496-1503.

[6] SANO H,OHISHI K,KANEKO T,et al.Anti-sway crane control based on dual state observer with sensor-delay correction[C]∥ Advanced Motion Control,2010 11th IEEE International Workshop Piscataway:IEEE,2010:679-684.

[7] PARK D,PARK S,BYUN S,et al.Container chassis alignment and measurement based on vision for loading and unloading containers automatically[C]∥ International Conference on Hybrid Information Technology，Piscataway:IEEE,2006:582-587.

Study oncontainer hanging holes recognition algorithm based on machine visionMI

Wei-jian1,ZHANG Zhi-wei,MI Chao

(1.Container Supply Chain Tech .Engineering Research Center,Shanghai Maritime Uinevrsity Shanghai 201306,China;2.School of Logistics Engineering,Maritime University,Shanghai 201306,China)

With the development of automation terminal,intelligent container vision systems have been widely used in automated ports.This paper proposes a container hanging holes recognition algorithm for the large intelligent automation equipment in port.This method first locate the container and the corner casting position in the container images by color features.Then the container hanging holes can be recognized by edge detection and Hough Transform.The field test results of Xiamen Ocean Gate Container Terminal show that this proposed method can meet the actual demands of automation terminal with better recognition rates and real-time performance

container; container hanging holes recognition; machine vision

宓为建(1956-),男,教授,博士生导师.E-mail:miweij@126.Com

TP 391.41

A

1672-5581(2016)05-0399-04