双目视觉机器人遮挡目标识别研究

(湖南工业大学 电气与信息工程学院，湖南 株洲 412007)

0 引言

《中国制造2025》的核心内容是装备生产和应用的信息化与智能化，双目视觉机器人恰是实现这一目标的执行者。在实际工况中，双目视觉机器人的目标识别是最重要的组成部分。在目标识别领域，传统的双目视觉机器人采用遗传算法结合模式识别的方法进行目标识别，因双目视觉机器人在识别遮挡目标的过程中，如遇遮挡目标被遮挡的部分过多或者被完全遮挡，在分离处理中变得过小或无法分离，不能作为模式识别模板，则双目视觉机器人的遮挡目标识别过程会受影响，而以上影响具有非穿透、盲目性等特征[1-3]。针对这种复杂遮挡目标识别过程，采用传统的遗传算法结合模式识别的方法很难达到识别要求。为此，提出UWB遮挡目标识别算法，在遇到分离处理过程中遮挡目标体积过小或无法分离，不能作为模式识别模板，用UWB遮挡目标识别算法进行遮挡目标识别，通过UWB无线波通信技术[4]获取遮挡目标位置信息，利用UWB遮挡目标标定缩小误差和确定偏差范围，UWB遮挡目标识别判断结构将偏差范围作为识别模板判断遮挡目标位置误差是否小于UWB遮挡目标识别的最小范围的最大值。经实物模型运行，运行结果验证了UWB遮挡目标识别算法的可行性及有效性。

1 双目视觉机器人遮挡目标识别

1.1 UWB遮挡目标识别系统

图1 遮挡目标识别系统结构图

A、B、C为UWB遮挡目标识别模块、D为遮挡目标标签模块，UWB遮挡目标识别模块A、UWB遮挡目标识别模块B、UWB遮挡目标识别模块C、UWB遮挡目标标签模块D与识别判断结构构成遮挡目标识别系统，实现双目视觉机器人对遮挡目标的UWB遮挡目标识别。遮挡目标识别系统如图1所示，其中遮挡目标识别模块A连接以树莓派3为核心的双目视觉机器人，遮挡目标识别模块B、遮挡目标识别模块C接收遮挡目标标签模块D发送的无线电波并以无线电波的形式传输给遮挡目标识别模块A，遮挡目标识别模块A通过串口通信将遮挡目标识别模块B、遮挡目标识别模块C、遮挡目标标签模块D发送的无线电波数据解析发送给以树莓派3为核心的双目视觉机器人通过UWB遮挡目标识别标定原理对遮挡目标标签模块D的坐标位置进行标定，标定后以树莓派3为核心的双目视觉机器人即可得到标定后的遮挡目标标签模块D标定后的坐标位置，从而将遮挡目标从遮挡物中识别出来，实现对遮挡目标的UWB遮挡目标识别。

1.2 UWB遮挡目标识别

1.2.1 UWB遮挡目标识别方程

遮挡目标标签模块D处于分别以遮挡目标识别模块A,遮挡目标识别模块B,遮挡目标识别模块C为圆心，di为半径的3个圆上，遮挡目标标签模块D的位置(x0,y0)，分别与遮挡目标识别模块A,遮挡目标识别模块B,遮挡目标识别模块C之间的位置(xi,yi)、圆的半径di的关系：

di2=(xi-x0)2+(yi-y0)2

(1)

通过UWB无线通信技术得出遮挡目标标签模块D和遮挡目标识别模块A，遮挡目标识别模块B，遮挡目标识别模块C之间的无线电波传输时间t，然后根据无线电波的传播速度公式来分别得到得到以遮挡目标识别模块A,遮挡目标识别模块B,遮挡目标识别模块C为圆心，di为半径的3个圆的半径di，式中c为光速：

di=c*t/2

(2)

根据几何知识，在二维空间中，当存在三个这样的遮挡目标识别模块A、遮挡目标识别模块B、遮挡目标识别模块C时，也就是三个以遮挡目标识别模块为圆心，三种遮挡目标识别模块与遮挡目标标签模块D的距离di为圆的半径的圆，那么可以唯一确定遮挡目标标签模块D。如几何关系图，图2所示。

图2 几何关系图

由图2几何关系图可得：

(3)

式中，遮挡目标识别模块A、遮挡目标识别模块B、遮挡目标识别模块C的坐标分别为(xA,xA)、(xB,xB)、(xC,xC),他们和遮挡目标标签模块D的距离分别为dA、dB、dC。解方程组，可得遮挡目标标签模块D的位置(x0,y0)，从而为进一步进行UWB遮挡目标识别标定得到标定后的坐标做准备[5-7]。

(4)

1.2.2 UWB遮挡目标识别标定方程

由于工作环境及遮挡物的影响， 双目视觉机器人的遮挡目标识别方程只能粗略表示双目视觉机器人遮挡目标识别模块与遮挡目标标签模块实际坐标之间的关系，不能精确描述双目视觉机器人遮挡目标识别模块与遮挡目标标签模块实际坐标之间的关系。参考UWB遮挡目标识别标定原理，设计了根据X方向平均偏差Δx和Y方向平均误差Δy与给定的遮挡目标标签模块D实际坐标x实和y实的UWB遮挡目标识别标定方程，多次测量遮挡目标X、Y坐标得到x1、x2……xn和y1、y2……yn，并与实际坐标x实和y实相减：

Δxi=xi-x实

(5)

Δyi=yi-y实

(6)

测量每次位置偏差：Δx1、Δx2……Δxn和Δy1、Δy2……Δyn。

各测量的位置偏差相加除以次数：

(7)

(8)

其中： X方向平均偏差Δx、Y方向平均偏差Δy。

D的位置(x0,y0)减去方向平均偏差Δx、Δy：

x标=x0-Δx

(9)

y标=y0-Δy

(10)

得到标定后的遮挡目标标签模块位置(x标,y标)，从而为进一步对遮挡目标是否存在于被遮挡物遮挡的全封闭或半封闭空间里的判断做准备[8]。

1.2.3 UWB遮挡目标识别算法

UWB遮挡目标识别即是把一个特殊目标(遮挡目标)从其它目标(遮挡物)中区分出来的过程，UWB遮挡目标识别采用统计模式识别的方法，统计模式识别分为UWB遮挡目标识别系统进行信息获取、UWB标定进行预处理，以树莓派3为核心的双目视觉机器人进行特征提取与选择、根据能够进行识别的最小偏差范围设计成识别判断结构和判断指定目标是否存在于被遮挡的封闭空间内等组成步骤。双目视觉机器人遮挡目标识别采用UWB遮挡目标识别系统进行遮挡目标标签模块D位置信息的多次获取，采用UWB遮挡目标识别标定进行遮挡目标标签模块D位置信息的预处理，并通过标定后的遮挡目标标签模块D位置信息与遮挡目标标签模块D能将遮挡目标从遮挡物中识别出来的遮挡目标最小位置偏差范围作比较进行遮挡目标标签模块D特征的提取与选择、并通过UWB判断结构构成分类器进行判断遮挡目标标签模块D是否存在于被遮挡物遮挡的封闭空间内。即可完成UWB遮挡目标识别。具体UWB遮挡目标识别算法如图3所示。

图3 UWB遮挡目标识别算法

1.2.4 UWB遮挡目标识别步骤

1)提取遮挡目标位置信息：在遮挡目标识别系统中，遮挡目标标签模块D将自己的位置信息分别传输给遮挡目标识别模块A、遮挡目标识别模块B、遮挡目标识别模块C，遮挡目标识别模块B、遮挡目标识别模块C再将接收到的遮挡目标标签模块D信息通过无线电波传输的方式传输给遮挡目标识别模块A进行汇总，遮挡目标识别模块A再通过串口传输，将遮挡目标标签模块D的位置信息传输给以树莓派3为核心的双目视觉机器人进行进一步操作，即可完成UWB遮挡目标识别系统提取遮挡目标位置信息。基于统计模式识别的方法，UWB遮挡目标识别系统提取遮挡目标标签模块D的位置信息要重复多次。

2)UWB遮挡目标识别标定：经过UWB遮挡目标识别系统多次提取遮挡目标的位置信息后，以树莓派3为核心的双目视觉机器人进行多次计算将测量遮挡目标标签模块D得到的位置数据与遮挡目标标签模块D的真实位置数据相减得到平均位置偏差，并将遮挡目标标签模块D位置偏差锁定在一个比较小的范围,该范围既是进行判断能将遮挡目标从遮挡物中识别出来的遮挡目标的最小偏差范围。然后再在实际工况中对随后得到的遮挡目标标签模块位置通过将遮挡目标标签位置与标定的平均位置误差相减进行遮挡目标标签模块D的标定得到标定后的遮挡目标标签模块位置信息，然后将标定后的遮挡目标标签模块位置信息送入双目视觉机器人的UWB判断结构进行分析和判断，UWB识别步骤如图4所示。

图4 UWB识别步骤图

1.2.5 UWB遮挡目标识别分析

当双目视觉机器人标定后的遮挡目标标签模块D位置信息大于最小位置偏差范围中最大值时，通过识别判断结构判断该遮挡目标标签模块D位置信息为无效信息即遮挡目标不在被遮挡物遮挡的封闭空间内，当双目视觉机器人标定后的遮挡目标标签模块D位置信息小于最小位置偏差范围中的最大值时判断该信该遮挡目标标签模块D位置信息为有效信息即遮挡目标存在于被遮挡物遮挡的封闭空间内，当标定后的遮挡目标标签模块D位置信息越接近最小位置偏差范围最小值时，该信息越准确。UWB遮挡目标分析图如图5所示。

图5 UWB遮挡目标分析图

2 UWB遮挡目标识别的模型运行

为验证UWB目标识别算法能实现对遮挡目标进行识别，设计了遮挡目标被遮挡物遮挡，能将遮挡目标从遮挡物中识别出来的遮挡目标最小偏差范围为26.3%。运用UWB遮挡目标标签模块、UWB遮挡目标识别模块、双目视觉机器人进行了实物运行实验，实物运行如图6所示，

图6 实物运行图

在进行实物运行过程中，考虑到UWB遮挡目标识别模块与遮挡目标标签模块之间的无线传输在遇到遮挡物和非视距时有误差(位置偏差)的影响[9]，在UWB遮挡目标识别标定中通过对遮挡目标坐标位置标定即可降低这些影响。给定3个遮挡目标识别模块输入坐标分别为(0，0)、(0，150)、(150，150)，得出两次测得的遮挡目标标签模块坐标(84.8，103.2)、(95.5，98.6)。从图6 实物运行图得到实物之间的实际位置关系、图7、8实物运行返回的数据得到双目视觉机器人通过UWB遮挡目标识别系统测得的遮挡目标位置信息。

图7 坐标关系图1

图8 坐标关系图2

结合UWB遮挡目标识别标定即可得实验数据，如表1所示。

表1 实验数据表 cm

其中，每次测量得到的X轴的坐标偏差分别为：Δx1、Δx2，每次测量得到的Y轴坐标偏差分别为：Δy1、Δy2，通过UWB遮挡目标识别标定得到的X方向平均偏差Δx、通过UWB遮挡目标识别标定得到的Y方向平均偏差Δy，每次标定后的遮挡目标坐标(x标1,y标1)，(x标2,y标2)。通过UWB遮挡目标识别标定得到的标定后的遮挡目标坐标为(70.6，97.3)，(79，92.7)。从标定后的遮挡目标坐标经过计算可以看出，通过UWB目标识别算法识别遮挡目标位置与实际遮挡目标位置的偏差范围最大值小于7.1%，满足小于26.3%遮挡目标被遮挡物遮挡，能将遮挡目标从遮挡物中识别出来的遮挡目标最小偏差范围最大值的设计要求。说明UWB目标识别算法可实现双目视觉机器人的遮挡目标识别，满足遮挡目标识别的准确性和稳定性，满足双目视觉机器人遮挡目标识别要求。但是，双目视觉机器人虽然能通过UWB目标识别系统将遮挡目标从遮挡物中识别出来，由于偏差范围仍然较大，如果要进一步操作如抓取等，需要通过调整双目视觉摄像机角度、接近遮挡目标、移除遮挡物等方式，使遮挡目标从被遮挡的封闭空间或半封闭空间变为可通过双目视觉系统识别的开放空间或半开放空间，然后通过双目视觉系统进行进一步操作，实现双目视觉机器人要完成的任务。

3 结论

针对双目视觉机器人识别遮挡目标的盲目性特点和双目视觉机器人UWB遮挡目标识别系统的各参数的波动性的特点，提出了UWB遮挡目标识别算法。并进行实物运行，实物运行结果表明, 采用UWB目标识别算法可使双目视觉机器人有效识别遮挡目标，双目视觉机器人的遮挡目标识别精度满足双目视觉机器人识别要求, 验证了算法的可行性和有效性。在未来，可以通过进一步将UWB遮挡目标识别系统做出3D结构进行3D的UWB遮挡目标识别可以更加贴近实际运用。该研究结果可以运用于仓库整理机器人、物流机器人、家庭整理机器人、迎宾机器人、电厂检修机器人[10-15]方面，仓库整理机器人、图书整理机器人、家庭整理机器人都属于双目视觉机器人，在实际整理过程中，往往会碰到目标因物品的遮挡或物品包围构成的封闭空间或半封闭空间而无法进行目标识别，从而无法进行紧接着的接近目标、抓取目标、前往指定位置、将目标放到指定位置的步骤，而通过UWB遮挡目标识别算法则能将遮挡目标从物品中或物品构成的封闭空间或半封闭空间中识别出来，并进一步通过接近目标或移去遮挡物等方法使双目视觉系统能够继续工作，如完成后面的抓取目标[16]，前往指定位置、将目标放到指定位置等步骤，从而完成整理功能。

UWB遮挡目标识别研究对双目视觉算法结合其他算法组成复杂的目标识别算法网络是一次有益的尝试[17]，为双目视觉机器人解决复杂的目标识别问题提供了方向。