自适应环境的机器人视觉伺服控制方法

吴作君,刘国华

(1.中国石油大学 胜利学院,山东 东营 257000; 2.中国科学技术大学,合肥 230000)

自适应环境的机器人视觉伺服控制方法

吴作君1,刘国华2

(1.中国石油大学 胜利学院,山东 东营 257000; 2.中国科学技术大学,合肥 230000)

机器人和机器视觉的迅速发展，使得基于视觉的智能机器人得到更加广泛的应用；机器视觉提高了机器人控制系统对环境的适应程度，但其适应程度也受到周围环境对机器视觉算法的影响;针对这一情况，对机器人视觉伺服控制系统中的机器视觉算法进行了改进，提出了一种基于帧间差分法的自适应环境的机器人视觉伺服控制方法，从而提高了控制系统对环境的自适应程度，提高了对机器人控制的精确度，实验和理论分析证明，该方法具有较大的应用前景和实用价值。

机器视觉；伺服控制；帧间差分法

0 引言

机器人时高度集成化和自动化的设备，随着工业生产智能化程度的逐步提高，机器人在各个领域发挥着日益重要的作用。机器人的控制要通过一个控制系统实现，控制系统的输入是机器人的传感设备获取到的传感数据，对其进行处理之后，做出判断，并执行动作。根据实际需要，机器人所添加的传感设备也是不同的。例如常见的有压力传感器、超声波测距传感器、视觉传感器、温湿度传感器等。在众多传感器中，视觉传感器具有适用范围广、获取的信息全面等优点，尤其是伴随着计算机视觉技术的快速发展，视觉传感器正逐渐成为机器人设备中必不可少的传感器。而基于机器人视觉的伺服控制方法，也得到了了广泛的应用。但是由于计算机视觉算法受环境影响较大，因此基于机器人视觉的伺服控制方法对于环境的自适应程度仍十分有限，针对这个问题，做出了研究，提出了一种基于熵权法的自适应环境的机器人视觉伺服控制方法。

视觉伺服控制技术是建立在机器人技术、自动控制技术、计算机视觉技术等多个领域技术的基础上的。很多学者已经进行了广泛的研究，其中最著名的是Hutchinson等人[1-3]所做的引导性研究，之后，很多人在此提出上提出了众多基于视觉控制的方法，包括古典类和现代类等，其中包括PID控制、极点配置等[4]。而现代控制算法是基于状态空间模型的，这种算法可以使系统具有更出色的性能，例如Gangloff J A等所采用预测控制的视觉伺服[5]，这种方法具有较高的稳定性，另外Conticelli F等还提出了如基于李雅普诺夫方法的稳定性分析及控制器的设计[6]。今年来神经网络得到了迅速的发展，其也被广泛应用在机器人控制领域中，视觉控制器的设计技术以及视觉伺服参数的估计与逼近算法。其中Giuseppe R D在模糊逻辑的基础上提出的控制器[7]，Kelly R则提出了直接把图像空间转换到关节空间的神经网络自学习控制器[8]。模糊控制方法所具有的鲁棒性和神经网络方法的良好的非线性函数逼近能力，使得智能控制方法在视觉伺服控制中具有较好的应用前景，但仍面临模糊规则的提取以及神经网络的泛化等问题。

目前的机器人伺服控制方法虽取得了较大进展，但是其工作环境是处于比较单一的实验环境中，对复杂动态环境的自适应程度有限，针对这个问题，提出了自适应环境的机器人视觉伺服控制方法。

1 伺服控制基本原理

伺服系统(servomechanism)是运动控制领域中较为常见的一种控制系统。其主要应用于机械控制领域，但并不是只能用于机械控制，而是指精确地跟随或复现一个过程的所谓反馈控制系统。在对机器人进行控制时，其可以使输出的机械动作参数准确地达到设计的的动作指令，从而实现机械位置的精确控制和对机械运动轨迹的准确跟踪。伺服系统是反馈控制系统的一种，和一般的反馈控制系统的模块构成并没有什么大的区别。

1.1 伺服控制可实现的功能

常见的采用伺服系统的设备主要包括：机器人、船舶控制、火炮、数控机床等。采用伺服系统可以实现以下功能：

1)大功率的负载控制可以通过小功率信号实现。

2)可以使其控制的机械准确地完成预定的运动计划。这些运动计划可以使事先设定的，也可以是随机生成的。比如对机器人的控制，可以是已经预先编制好的动作指令，也可以是根据周围的环境随机生成的动作指令。

3)在没有机械设备作为中间连接的情况下，也可以实现远程同步传动。

伺服系统按所用驱动元件主要是采用机电伺服系统，主要原因是与液压伺服系统和气动伺服系统相比，其能量来源电能的应用方式更加灵活方便，而后两者的应用范围都有一定的条件限制。而且机电伺服系统所使用的驱动元件是根据设备的使用需求设计并选取的电动机，能够把系统的性能发挥到最为优异，所以其成为当前最受欢迎的伺服系统。

1.2 伺服控制的性能

对于伺服系统中控制精度的评价，主要取决于所采用的测量元件的精确程度。所以，一个控制精确的伺服系统，对测量元件有较高的要求。应通过提高测量元件或者其他辅助措施来提高所采用的伺服控制系统的性能。

除精度之外，能够衡量伺服系统的指标还有伺服系统的反应速度、跟踪速度等。其频域指标带宽由系统响应特性确定，能够体现出系统对信号的跟踪的速度。带宽和速度成正比。

2 机器人视觉模块

机器人视觉模块的目得就是通过图像信息采集设备(以摄像头为主)将获取到的信息转化为图像信号，然后对其进行基于各种算法的处理，实现人眼能够实现的各种功能等。其主要部分包括图像采集、图像增强、目标识别等。机器人视觉模块实现的技术基础是计算机视觉技术。

2.1 图像采集

图像采集设备主要以摄像头为主，其采集的目标包括静态图像、动态图像等。如图1所示，采集的静态图像又包括灰度图像、二值图像、彩色图像、多光谱段图像。采集的动态图像包括动态灰度和动态彩色图像。

图1 图像采集分类图

2.2 图像增强

在机器人视觉模块中，除了需要对图像进行采集之外，为了适应复杂的环境，还需要对图像进行增强，通过理论分析和对比实验，总结了常见的图像增强的优缺点，优缺点分析如表1所示。

表1 各种图像增强方法的优缺点

2.3 目标识别

在对图像进行增强处理后，就减小了周边环境对图像质量的影响。增强了对环境的自适应程度，目标识别包括图像分割和特征匹配两个模块。

目前已提出上千种图像分割方法，比如最早提出基于直方图的自动阈值分割方法的P-tile法[10]；随后又提出了一种Otsu算法[11]。此外还有边缘检测算法：其中以Canny[12]提出了一种新的多级边缘检测算法最为出名。同一局部区域内的图像特征具有相似性，因此LORENZ Thomas[13]提出了一种基于设定值地图的区域生长方法。此外在1988 年，Osher和Sethian[9]首次将水平集理论应用于图像分割，提出了水平集分割法这一基于特定理论的分割方法。采用大津法进行图像分割。

对于目标识别的方法，在这里我们采用直方图反向投影的方法。直方图的反向投影是由Michael J.Swain和Dana H. Ballard[9]提出的，它可以用来帮助我们做图像分割或者在图像中寻找我们感兴趣的内容。该算法的输出是一个和输入图像相同大小的图像，这样就可以得到一个概率图像，即一幅灰度图像。

3 基于图像的机器人视觉伺服控制

雅可比矩阵是目前比较常见的基于图像的机器人视觉伺服方法的基础，采用的结构是一种双闭环的模式。其中负责关节的伺服控制的是内环，机器人运动轨迹的跟踪控制就是通过关节位置反馈实现的。 伺服控制器的性能比较高的时候，可以将机器人的控制系统近似为一个线性环节。视觉的控制器位于外环，关节角度的设定通过较低的采样率即可完成。在对图像中的视觉特征进行提取之后，通过机器人的末端执行器进行闭环控制。

雅可比矩阵是用来反映图像特征和机械手位置变换关系的矩阵。

(1)

由此得到的图像雅可比矩阵J(X)则可以进一步表示成公式(2)。

(2)

式中，Jq=J(X)·J(Q)，即得到公式(3):

(3)

公式(2)和公式(3)是两种不同的图像雅可比矩阵的表示形式，体现了空间位姿和图像特征变化量之间的关系，是机器人领域中基于图像反馈手眼视觉伺服研究的基础。

若能检测到目标物体所具有的某个特征点P相对摄像机坐标系的坐标，结合摄像机的投影模型可以特出，其可以表示为：cP= [xcyczc]T。

特征点在图像中的坐标P=[u v]T。则可以得到下式：

若假定摄像机坐标系的末端执行器在基坐标系运动中角速度和平移速度的数值分别可以表示成cΩe= [ωx(t)ωy(t)ωz(t)]T或cTe= [Tx(t)Ty(t)Tz(t)]T。

综合，可以计算得到公式(4):

(4)

(5)

同理可得公式(6)：

(6)

最后可以得出公式(7)：

(7)

4 机器人的自适应视觉系统

机器人的自适应视觉系统首先将视频拆分成图像序列，然后通过改进的帧间差分法对图像中是否有目标进行初次判别，接着对检测有目标信息的视频图像进行基于直方图均衡化法的图像增强处理后，再进行目标识别和相似度指数的统计与计算。系统结构如图2所示。

图2 视觉伺服控制系统结构图

若对复杂环境下视频中的每帧视频图像都进行增强处理，资源占用量大且无法达到实时性要求，同时长时间对无车辆通过的视频处理无意义，因此改进了帧间差分法，以节约资源和时间。帧间差分法将视频图像序列中相邻两帧的视频图像作差分计算，通过比较两帧间灰度差的特征来分析视频图像序列的运动特性，当超过阈值时，可以初步判定有车辆通过，此时将该帧视频的图像载入缓存并对其进行图像增强处理，从而减少资源占用，使因增强处理而增多的时间达到可接受水平。对于间隔帧数的确定，给出了如下方法：

(8)

其中:Z表示帧间差分法选取的视频采样间隔帧数的最大值，Vmax表示目标的最高位移速度，M表示目标位移的最小长度，T表示每两帧之间的时间间隔。通过这种间隔多帧的处理方法，可以减少资源消耗，节约时间。在根据公式8确定Z的值之后，便可以根据实际需要，在小于Zmax前提下，确定帧间差分法间隔的帧数，然后进行后续处理。

例如间隔两帧的差分法，用Simulink工具箱进行了系统仿真，如图3所示。

图3 隔帧差分系统仿真实现

可以通过统计差异像素点数量的方法：在确定了间隔帧数之后，即可按照帧间差分的方式对图像中是否含有车辆信息进行判断，如公式(9)中，P(i,j)表示该像素点处的灰度差，当该像素点处的灰度差小于设定的灰度阈值Y时，就对像素灰度值做置0处理，否则置1。对于Y的取值和像素点阈值的取值，建议通过实际视频情况调整确定，在(0,255)的范围内一般取5到20为宜，最后按照公式10，计算a×b像素大小的图片中与背景差别较大的像素点数之和S。当S大于设定的像素点阈值时，则认为当前图像中有车辆信息；若小于阈值，则认为当前图像不存在车辆信息，舍弃删除该图像，不对其做处理。

(9)

(10)

5 实验验证

5.1 图像增强验证

对于图像增强验证，针对自适应环境下的机器人视觉中的相应算法进行试验验证，验证情况如表2所示，对3种不同情况的环境下图片进行相应处理。

表2 图像增强算法的实验验证

5.2 双力臂机器人系统控制仿真实验

根据自适应环境的机器人视觉伺服控制方法，设计出一款双力臂控制系统，双力臂机器人系统设计的双力臂仿真设计如图4所示。

图4 双力臂仿真设计图

仿真的实验结果如图5所示，图5为位置跟踪和关节的控制输入情况：

图5 位置跟踪和关节的控制输入情况

5.3 轮廓提取效果验证

如表3所示，是经过图像增强之后的进行轮廓提取的情况，从实验结果看出，轮廓提取效果良好，达到了对环境的自适应的要求。

表3 图像的轮廓提取实验

6 总结

针对机器人视觉伺服控制系统对于环境的自适应问题，提出了一种基于帧间差分法的机器人视觉伺服控制方法，并基于该方法，设计了机器人视觉伺服控制系统。该系统能够实现对环境的自适应，同时能够达到实时性要求。最后，对系统中设计到的计算机视觉方法进行了验证，实验证明效果良好，该算法具有很好的可行性。

[1]Hutchinson S, Hager G D, Corke P I. A tutorial on visual servo control [J]. IEEE Transactions on Robotics and Automation, 1996, 12(5): 651-670.

[2]Chaumette F, Hutchinson S. Visual servo control I basic approaches [J]. IEEE Robotics & Automation Magazine, 2006, 13(4): 82-90.

[3] Chaumette F, Hutchinson S. Visual servo control II advanced approaches [J]. IEEE Robotics & Automation Magazine, 2007, 14(1): 109-118.

[4] Bachiller M, Cerrada J, Cerrada C. A modular scheme for controller design and performance evaluation in 3D visual servoing [J]. Journal of Intelligent and Robotic Systems: Theory and Applications, 36(3):235-264, 2003.

[5] Gangloff J A, de Mathelin M,Abba G. 6 DOF high speed dynamic visual servoing using GPC controllers [A]. Proceedings of the IEEE International Conference on Robotics and Automation [C].Leuven, Belgium,1998: 2008-2013.

[6] Conticelli F, Allotta B,Khosla P Image-based visual servoing of nonholonomic mobile robots[A]. Proceedings of the IEEE Conferenceon Decision and Control [C]. Phoenix, AZ, USA: 3496-3501, 1999.

[7] Giuseppe R D, Taurisano F, Distante C. Visual servoing of a robotic manipulator based on fuzzy logic control [A]. Proceedings of the IEEE International Conference on Robotics and Automation [C].Detroit, MI, USA: 1487-1494, 1999.

[8] Kelly R, Favela J, Bassi D. A symptotically stable visual servoing of manipulators via neural networks[J]. Journal of Robotic Systems, 17(12):659-669, 2000.

[9] Michael J.Swain, Dana H. Ballard. Color Indexing[J]. International Journal of Computer Vision, 1991, 7(1):11-32.

[10] Doyle W. Operations useful for similarity-invariant pattern recognition[J]. J ACM, 1962, 9(2): 259-267.

[11] OtsuN.A threshold selection method from gray level histogram [J].IEEE Trans.on Syst.Man, Cybern.,1979,9(1): 62-66.

[12] Canny J. A computational approach to edge detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6): 679-698.

[13] Thomas L. Set Valued Maps for Image Segmentation [J]. Computing and Visualization Science, 2001(5): 45-57.

Adaptive Robot Visual Servo Control Method

Wu Zuojun, Liu Guohua

(1.Shengli College of China University of Pertroleum, Dongying 257000, China； 2.University of Science and Technology of China, Hefei 230000, China)

With the rapid development of robot and machine vision, the vision based intelligent robot has been widely used. Machine vision improves the adaptability of the robot control system to the environment, but the degree of adaptation is influenced by the surrounding environment to the machine vision algorithm. In view of this situation, this paper presents an improved robot visual servo control algorithm in machine vision system. This paper proposed an adaptive environment of inter frame difference method of robot visual servo control method based on improved adaptive degree of environmental control system, improving the control precision of the robot. The experimental and theoretical analysis that this method has great application prospect and practical value.

machine vision; servo control; Inter frame difference method

2016-10-10；

2016-11-02。

安徽省科技攻关项目(1401b042010)。

吴作君(1988-)，女，江苏邳县人，硕士，主要从事电机优化与控制、智能控制理论与应用方向的研究。

1671-4598(2016)12-0063-04

10.16526/j.cnki.11-4762/tp.2016.12.018

TP242

A