基于人工路标的机器人视觉定位研究

基于人工路标的机器人视觉定位研究*

韩笑1,廖粤峰2

(1.河南机电高等专科学校 电气工程系,河南 新乡453000;2.河南机电高等专科学校 自动控制系,河南 新乡 453000)

摘要:自定位和位置估计是自主移动机器人最重要的能力之一。根据摄像机透视映射原理,确定内外参数来推算机器人位置。基于实验分析,提出了一种人工路标方案。通过建立以RGB的值域范围为分割点,分层实现彩 色图像的目标与背景分离,从而完成了图像标志的识别。试验表明基于人工路标信息的视觉定位系统能够有效识别出机器人,实现反馈机器人的当前位置。

关键词:视觉定位;人工路标;图像分割

收稿日期：2015-01-15

中图分类号：TP242

借助计算机视觉理论,视觉系统可通过图像分析、目标识别等手段,获取环境信息,进而实现获取自身位置信息。因此基于视觉的定位系统对于自主移动机器人有着重要的研究意义和应用价值[1]。

国内外都很重视机器人视觉系统的研究工作。美国Carnegie-Mellon大学研制的NAVLAB自主车,它采用了多传感器信息融合系统[1]。在视野范围内识别目标,依靠积累的经验求解行动规划,以及对目标物体进行跟踪,可以实现简单移动,转弯和路径规划,但是速度很慢。日本大阪大学自适应机械系统研究院研制了一种自适应视觉伺服系统,利用双目立体视觉的原理,实时计算目标图像的雅可比矩阵,从而预测出目标下一步运动方向,实现了对运动方式未知的目标的自适应跟踪[2]。国内哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航,使机器人在视野范围、测精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标,通过数据融合技术,可以提高测量精度,但双目视觉处理方法复杂,实时性不高,不利于在快速移动下进行运算。

本论文针对图像处理中实时性及复杂性问题,提出了基于人工路标信息的视觉定位系统能够有效识别出机器人位置信息,研究基于全局视频信息的机器人远程路径控制技术,实现基于单目视觉信息的平面机器人定位,能够实现目标快速定位分析及识别,使系统可靠性上升,更加缩短了识别的时间。

1基于单目视觉信息的平面移动机器人定位分析

1.1坐标系引用

摄像机参数总是相对于某种几何成像模型的,不考虑畸变量等因素,把摄像机成像模型看作是针孔模型。建立4个坐标系,图像坐标系、成像平面坐标系、摄像机坐标系和世界坐标系[3]。

为空间内任意一点,如图1所示。

图1　各个坐标间成像关系的针孔模型

A. 图像坐标系:经摄像机采集的图像以数字图像的形式输入在计算机中,即每幅数字图像实际为一个M×N的数组,其M行N列的单位元素为像素。直角坐标系u、v定义为图像坐标系,以像素为单位,任意一点坐标 表示第u行、第v列的点的像素。

B. 成像平面坐标系:在图像坐标系的基础上,以物理单位表示像素在图像中的位置,称为成像平面坐标系。如图1所示,成像平面坐标系以O0为原点,X轴与Y轴分别平行于图像坐标系中u、v轴,任一点坐标(X0,Y0)表示这一点的物理坐标值(通常的物理单位为mm)。P0(X0,Y0)为P在成像平面坐标系上的投影。

C. 摄像机坐标系:摄像机的几何成像关系由图2所示。其中Oc点称为摄像机的光心,X轴和Y轴与成像平面坐标系的X1轴和Y1轴平行,Z1轴为摄像机的光轴,与图像平面垂直。图像坐标系的原点O0即为光轴与图像平面的交点,由点Oc与X、Y、Z轴组成的坐标系称为摄像机坐标系。线段 O1O0为摄像机的焦距f。P1(X1，Y1，Z1)为P在摄像机坐标系上的投影。

D. 世界坐标系:在环境中选择一个基准坐标系来描述摄像机的位置,并用它描述环境中的任何位置,该坐标系称为世界坐标系。它由X2、Y2、Z2轴组成。P2(X2,Y2,Z2)为P在世界坐标系上的投影。

结合以上4个坐标系,可以便捷的描述摄像机的成像几何关系,图像坐标系到摄像机坐标系的转换关系(A→C)由内参确定,摄像机坐标系到世界坐标系的关系(C→D)由外参确定。要完成摄像机的参数标定必须分别实现内参标定和外参标定两部分。

1.2内外参变换

由于已知机器人在某一平面内,即在大地坐标内Z=机器人高度为定值,则可以把双目视觉测量转化为单目视觉与已知任意平面的测量方法。

(1)已知 Z=定值　 (2)X、Y、Z均等于任意值 图2　有已知平面情况下的单目视觉测量示意图

当平面为任意平面时,由图2可得,射线L与摄像机坐标系Z=0相交于M(Xm,Ym,0),则射线L必与平面S相交于一点。此点为机器人的摄像机坐标,设为P(X,Y,Z),又由小孔成像原理得:

(1)

内参确定了图像坐标系和摄像机坐标系之间的仿射关系[4]。相结合得到图像坐标系和世界坐标系的相互转化,得到以世界坐标系表示的P点与其投影点P的坐标(u,v)的关系[5],如公式(2)所示。

=M1M2X1=MX1

(2)

其中,M1与摄像机内部参数有关,称这些参数为摄像机内参数;M2由摄像机相对于世界坐标系的方位决定,称为摄像机外参数。

综上所述,确定了内外参数就确定了机器人的相应标定参数,从而推算出估算的位置坐标。

1.3推算方法实现

1.3.1 内参标定方法实现

用Matlab标定工具箱进行标定,得标定结果:

焦距fcx=662.586±1.51949

fcy=644.80970±1.63496

主点位置

qu=307.25932±2.98351

qv=241.69022±2.75434

θ=90o

畸变系数

k1=-0.28090±0.01214

k2=0.33847±0.01214

k3=0.00054±0.00069

k4=0.00047±0.00072

以上结果长度以像素为单位。得到根据当前标定结果得到的反投影误差,如图3所示。可在此基础上继续进行角点检验,如图4所示。

图3　反投影误差示意图

图4　多次焦点检测后反投影误差

将fcx,fcy,qu,qv代入(3)得：

(3)

1.3.2外参标定方法实现

P1在图像坐标系、摄像机坐标系、界坐标系上的投影分别为P01(X01,Y01)、P11(X11,Y11,Z11)、P21(X21,Y21,Z21)。类似推出P2P3…Pn。

图5　两个六自由度的三维坐标的转换图

对P1,据图5得:

(4)

在实际求解过程中,空间变换阵转换可以看作是两个六自由度的三维坐标的转换。

已知测得P1(X1,Y1,Z1)

如下表1:

表1　 P 1(X 1,Y 1,Z 1)值

测得P2(X2，Y2，Z2) 如下表2：

表2　值 P 2(X 2,Y 2,Z 2)值

对于X11,Y11,Z11,求得对应未知参数a0=2.5,a1=3,a2=4。

类似方法求得其他参数,得空间转换系数

(5)

2基于人工设计目标快速定位分析

2.1基于人工路标的目标识别

2.1.1路标设计

使用的路标大致可以分为两类:人工路标和自然路标[6]。自然路标受外界的环境影响较大,不太稳定。因此,在路标识别上,往往采用人工路标。

人工路标是指特殊设计的物体或者标记,需要被放置在特定的环境中,并且路标能够被激光、红外、声呐和视觉等传感器进行检测。

人工路标的设计应主要从路标识别的准确性、实时性以及在大型复杂环境中的可扩展性三方面考虑。路标主要由双环组成,在识别的时候环环确定目标位置。改变外环内环颜色选择实验效果的组合[7]。分三组实验。由实验效果得:外环为黑色,内环为红色最好。选择红色作为内环颜色,一方面是因为工作环境中红色相对较少,红色圆形框结构就更少,另一方面则由于红色纯度高,明度低,散射强度小,有利于保证在不同距离下的准确识别。外部的黑色背景和白色底色形成强烈的明暗对比,有助于识别目标。

2.1.2目标识别

目标识别具体思路为[8]:先加载位图,再根据位图调整程序并进行检测,最后察看目标识别效果,若效果不好则重复上一步。具体步骤如下:

第一步:先对红色进行检测,即查询红色点的RGB值,统计大概的范围。

第二步:找到黑色点和白色点的值域范围,并将黑色显示为绿色,白色显示为蓝色。

当满足三种颜色的点个数在区域范围内满足一定值时,此部分点为目标识别的最终目标并有红色框跟随,如图6所示。

(a)第30帧 　　　　　　(b)第47帧

(c)第66帧 　　　　　　(d)第93帧 图6　目标识别示意图

2.1.3目标识别流程

第1级检测,在设定好的红色区域范围内,红色点超过一定点数时,进入下一个检测,否则跳过此点。第2级检测,在设定好的黑色区域范围内,黑色点超过一定点数时,进入下一个检测,否则跳过此点。第3级检测,在设定好的白色区域范围内,白色点超过一定点数时,进入下一个检测,否则跳过此点。通过四级检测的点就是目标点,如图7所示。

图7　目标识别的基本思路示意图

2.2基于目标识别的实验分析

在实际试验之前,由于光照、摄像机焦距等不同,先对各种颜色组合的路标进行试验,从中选择试验效果最明显的一组,由试验可得,黑色外环与红色内环组合识别效果最好,如图8所示。

图8　实际人工路标设计图

2.2.1颜色检测

分级进行颜色区域范围检测。如图9所示。

图9　实验结果

2.2.2目标识别

当经过几次检测与调试,蓝框基本跟随目标,如图10所示。

(a)第4帧　　　　　　　　　(b)第22帧

(c)第86帧 　　　　　　　　(d)第130帧 图10　目标识别实验图

2.2.3目标识别与平面定位相结合

在机器人运动模式下,进行实时识别,并实时调用上一章的标定矩阵,并实时计算物理坐标,如图11所示。

图11　目标识别与平面定位相结合实验效果图

3结语

本文针对基于人工路标平面移动机器人定位分析,并推广到任意平面,应用性更强。针对内外参数进行分析,验证了在仪器条件满足的情况下可以实现图像坐标系与世界坐标系的转换。在基于人工目标的识别情况下,设计了快速的系统检测,相对于系统全局检测,可靠性上升,更加缩短了识别的时间。

(责任编辑吕春红)

参考文献：

[1] 李博.自动移动机器人视觉导航信息研究[D].西安:西安理工大学,2009.

[2] 林琳.机器人双目视觉定位技术研究[D].西安:西安电子科技大学,2009.

[3] 朱睿爽.全景视觉系统标定技术研究[D].哈尔滨:哈尔滨工程大学,2011.

[4] 于泓.摄像机标定算法研究[D].山东:山东大学,2003.

[5] 傅丹,冯卫东,于起峰,等.一种摄像机自标定的线性方法[J].光电工程,2008.

[6] 刘振宇,姜楠,张令涛.基于人工路标和立体视觉的移动机器人自定位[J].计算机工程与应用,2010.

[7]张静,何明一,戴玉超,等. 综合颜色和形状的圆形交通标志检测方法[J].计算机工程与应用,2011.

[8]徐大宏,吴敏,曹卫华.一种新的实时彩色目标分割方法[J].计算机工程与应用,2003,22:75.

Study on Vision Localization of Robot Based on Artificial Landmark

HAN Xiao，et al

(Department of Electrical Engineering, Henan Mechanical and Electrical

Engineering College, Xinxiang 453000, China)

Abstract:Self-localization and position estimation are ones of the most important skills of autonomous mobile robot. According to the camera perspective mapping principle, the parameters of inside and outside are determined to reckon the position of mobile robot. Accomplish past location by artificial landmarks. Based on experimental analysis, bring forward a new design of artificial goal. Through established split points at the range of RGB, achieve detach between the objectives and background, thus completing the image mark recognition. The experiments illustrate that the proposed method can effectively identity the robot, and can feedback the current position of the robot.

Key words: vision localization; artificial landmark; image segmentation