基于视觉伺服的联合收割机群协同导航从机定位方法

白晓平，胡静涛，王 卓



基于视觉伺服的联合收割机群协同导航从机定位方法

白晓平，胡静涛※，王 卓

（1. 中国科学院沈阳自动化研究所，沈阳 110016； 2. 中国科学院网络化控制系统重点实验室，沈阳 110016）

针对收割机群协同导航从机实际定位需求，在分析主机与从机间相对位置关系的基础上，提出了一种采用视觉系统求解靶标投影矩形区域形心坐标，并以此作为导引信息，引导相对位姿测量装置测量从机相对主机位姿，实现从机精确定位的方法。重点对从机定位方法中需解决的运动靶标跟踪和对靶控制2个关键问题进行了研究，提出了一种基于双重波门的运动靶标跟踪方法和一种基于变尺度变论域模糊控制的对靶控制方法。试验结果表明，该文所提定位方法基本不受收割机前进速度的影响，不同速度最大偏差的标准差为0.003 5 m，平均偏差的标准差为0.002 3 m。

农业机械；控制；导航；收割机群；机群定位；视觉伺服；对靶控制

0 引 言

随着中国工业化、城镇化不断深入推进，中国农业呈现出集约化、规模化、产业化的发展趋势，农业机械化作业水平迅速提高。为提高田间作业效率、降低能源消耗，出现了多台同种或异种农机装备在田间联合作业的机群编队作业模式，并逐渐成为大规模农机装备应用的发展趋势[1]。多机协同导航技术是农机导航系统需要解决的问题，具有重要的研究价值。

目前，国内关于农业机械多机协同导航技术的研究鲜有报道，国外对农业机械多机协同导航技术的研究主要集中在机群定位技术和队形保持控制技术两方面[2-5]，本文主要研究机群定位技术。农机的定位方法包括全局定位和相对定位2种[6]。全球卫星导航系统（global navigation satellite system，GNSS），是一种典型的全局定位方法，安装GNSS的每台农机均可直接得到在全局坐标系下的坐标[7-11]。因此，可采用在机群中每台农机上均配备一台高精度GNSS的方法来解决机群中各农机的定位问题。该方法是最为简单的一种机群定位方法，但通常价格便宜的民用GNSS精度不高，而高精度GNSS价格昂贵[12-15]，在每台农机上安装一台高精度GNSS提高了机群自主作业系统的成本。机器视觉是一种典型的相对定位方法，该方法根据作物行、作业区域与非作业区域在图像中的特征来确定自身的位姿信息[16-21]。由于传统基于视觉的相对定位方法根据作物信息特征实现定位，无法获知自身与其他农机间的位置关系[22-25]，不能保持设定队形作业。因此，传统基于视觉的相对定位方法不能够满足收割机群自主作业的定位需求。

鉴于上述分析，针对联合收割机群协同导航系统，本文提出了一种基于视觉伺服的从机定位方法。

1 基于视觉伺服的从机定位方法

1.1 基于视觉伺服的从机定位方案

主从结构的收割机群以一台收割机作为主机，其余收割机均作为从机，与主机保持设定的横向距离和纵向距离完成收获作业任务。为研究主从结构的收割机群中从机与主机间的相对位置关系，本文定义了一个UTM坐标系作为全局坐标系。主从结构的收割机群中任意一台从机与主机在UTM坐标系下的相对位置关系可由如图1所示的几何模型来描述。

设主机定位点和从机定位点在UTM坐标系下的坐标分别为O(x,y)、O(x,y)，由图1中主机与从机间的相对位置关系，从机定位点坐标

式中x，y分别为点O横坐标和纵坐标；x，y分别为点O横坐标和纵坐标；1为从机的航向角，rad；2为向量OO对于向量AB的偏转角，rad；为主机定位点与从机定位点间的距离，m。定义(,2)为从机相对主机的位姿向量。

注：A、B分别为主机的前轴中心和后轴中心，O为AB的中点；A、B分别为从机的前轴中心和后轴中心，O为AB的中点；1为从机的航向角，rad；2为向量OO对于向量AB的偏转角，rad；为主机定位点与从机定位点间的距离，m。

Note:A,Bare front axle center and rear axle center of master respectively，andOis midpoint ofAB;A,Bare front axle center and rear axle center of slave respectively, and Ois midpoint ofAB.;1is heading angle of slave, rad;2is deflection angle of vectorOOrelative to vectorAB, rad;is distance between master locating point to slave locating point, m.

图1 主机与从机相对位置关系示意图

Fig.1 Relative position between master and slave

式（1）中，从机航向角1由航向传感器直接测量；主机定位点坐标可由安装在主机上的高精度GPS测量；因此，仅需在从机上安装相对位姿测量装置测量出从机相对主机的位姿，即可计算出任意一台从机定位点的坐标。本文采用在主机定位点安装靶标，从机定位点安装相对位姿测量装置的方案测量从机相对主机位姿，所设计的相对位姿测量装置如图2a所示，实物如图2b所示。

a. 相对位姿测量装置结构图

a. Structure of relative position and pose measurement device

b. 相对位姿测量装置实物图

b. Photo of relative position and pose measurement device

1.传感器安装架 2.单目摄像机 3.激光测距传感器 4.云台旋转控制电机 5.垂直方向旋转轴 6.云台主支架 7.云台底座 8.水平方向旋转轴 9.水平方向编码器 10.垂直方向编码器

1.Sonsor mounting rack 2.Monocular vision 3.Laser distance sensor 4.Cradle head spin control motor 5.Vertical rotation axis 6.Mast section of cradle head 7.Base of cradle head 8.Horizontal rotation axis 9.Horizontal encoder 10. Verticlal encoder

注：图2a中，O-XYZ为云台旋转坐标系。

Note: In Fig.2a,O-XYZrepresents rotating coordinate.

图2 相对位姿测量装置

Fig.2 Relative pose measurement device

相对位姿测量装置采用视觉测量的方法实现导引功能，激光测距传感器保证了测距数据的高精度。作业过程中，单目视觉系统（摄像机）不断拍摄安装在主机上的靶标图像，自动提取图像坐标系下靶标投影区域，计算靶标投影区域形心坐标。对靶控制器根据靶标投影区域形心位置与图像中心位置偏差计算控制量，控制云台旋转，导引激光测距传感器对准靶标形心投射光束。当激光测距传感器对准靶标投射光束时，数据采集系统采集激光测距传感器、云台俯仰角、水平方向旋转角数据。数据采集完成后，系统根据相对位姿测量原理计算从机相对主机的位姿。

由相对位姿测量流程知，如何采用视觉伺服的方法实现准确、快速对靶测量及如何根据测量数据计算从机相对主机的位姿是定位方案中需要解决的2个核心问题。

1.2 相对位姿测量原理

定义靶标投影区域的形心与图像中心重合时，激光测距传感器的姿态为对准靶标，如图3所示。

a. 俯视图

a. Top view

b. 正视图

b. Front view

注：图3a中，为云台由初始位置到对准位置水平方向旋转角，rad。图3b中，点为激光投射点，点为激光束在靶标上的投影点；为云台的俯仰角，rad。

Note: In Fig.3a，is feathering angle of cradle head, rad. In Fig.3b，is laser source point，andis projection point on target of laser beam；is pitch angle of cradle head, rad

图3 相对位姿对靶测量示意图

Fig.3 Relative pose target measurement sketch

如图3a所示，由于对准时摄像机光轴在水平面上的投影直线通过靶标圆心在水平面上的投影点，摄像机光轴初始方向（X正方向）与向量AB方向相同，云台由初始位置到对准位置水平方向旋转角即为向量OO相对于向量AB的偏转角2。

根据图3b中几何关系，主从距离可由式（2）计算得出

式中d为激光投射点与旋转坐标系原点O间的距离，m；为激光投射点与点间的距离，数值上等于激光测距传感器测量的距离数据，m；为云台的俯仰角，rad；为圆柱靶标底面半径，m。

1.3 基于视觉伺服的对靶控制器总体结构

对靶控制目标：根据靶标投影区域形心在图像中的位置(1,1)，通过对靶控制器计算出云台水平方向旋转偏移量及旋转速度、俯仰偏移量及旋转速度，调整云台水平方向旋转角、俯仰角，快速、准确地将靶标投影区域形心置于图像平面的中心位置(0,0)，即

式中0、0分别表示图像中心的横坐标和纵坐标；1、1分别表示靶标形心在图像坐标系下的横坐标和纵坐标；为靶标形心与图像中心间的偏差，pixel。根据式（3）所示的对靶目标设计的对靶控制器结构如图4所示。

注：0、0分别表示图像中心的横坐标和纵坐标；1、1分别表示靶标形心在图像坐标系下的横坐标和纵坐标；为靶标形心与图像中心间的偏差，pixel；1、2分别表示云台水平方向偏移量和俯仰方向偏移量，pixel；v1、v2分别表示云台水平方向旋转速度和俯仰方向旋转速度，m·s-1。

Note:0,0are abscissa and ordinate of image center;1,1are abscissa and ordinate of target centroid;is deviation between target center and image center, pixel;1,2are horizontal rotary offset and pitch rotary offset of cradle head, pixel;v1,v2are horizontal rotary speed and pitch rotary speed, m·s-1.

图4 基于视觉伺服的对靶控制器结构

Fig.4 Structure of automatic target controller based on visual servo

定义靶标投影区域形心坐标沿两坐标轴方向的偏移量分别为

式中1、2分别为沿图像坐标系轴方向和轴方向靶标形心与图像中心的坐标偏差，pixel。

1.3.1 基于双重波门的运动靶标跟踪

1）图像色彩特征分析

本文设计的靶标为一底面直径为0.4 m，高为0.5 m的红色圆柱体（靶标颜色可根据收割机机身颜色调整，选取原则为区别于机身颜色和作业环境颜色），安装于绿色收割机顶端。在农田景物图像中投影区域为一红色连通矩形区域，如图5所示。

考虑不同天气对靶标颜色分量的影响，选取晴天、多云、阴天3种不同天气情况下靶标图像各10幅，从图像中截取靶标区域作为样本数据，部分数据如图6所示。

a. 晴天     b. 多云     c. 阴天

靶标投影矩形区域所在的小范围内只含有天空、绿色的收割机和树木，其颜色与靶标投影矩形区域有明显差别，可采用YUV模型中的V分量（红色分量）值进行靶标投影矩形区域分割。

统计3种不同天气情况下，靶标投影矩形区域内V分量的极大值和极小值，并根据统计结果计算出3种不同天气情况下V分量的最大值和最小值。如表1所示。

表1 不同天气下靶标区域V分量值统计结果

由统计结果可知，靶标投影矩形区域内像素点分量变化范围为165～215。因此，可认为农田景物图像中分量介于165～215之间的像素点为前景（标记像素为1），其余均识别为背景（标记像素为0），即

式中(,)表示图像中第行第列的像素值，，∈；表示所有前景像素点的集合。为了验证以上分割阈值的分割效果，选取晴天、多云、阴天条件下田间靶标图像各5幅，采用以上阈值进行二值化处理，以晴天、多云、阴天3种不同天气情况下图像各1幅来分析分割效果，如图7所示。

以上分割结果表明，不同天气情况下，靶标区域均完整的被识别为前景。虽然有部分谷草等干扰被误识别为前景，但由于靶标所在小范围内的物体与靶标颜色均有较大差别，靶标投影区域所在的小范围内（如图7中圆形虚线框内区域所示）内不存在大的干扰物。由于靶标跟踪识别过程中，只在小范围内搜索靶标区域，离靶标矩形区域较远的干扰物不会对跟踪识别产生影响。

2）内外波门定义

相邻两帧图像采样间隔内，靶标投影区域可能作上、下、左、右4种运动或者以上4种运动的合成运动。由于实际作业过程中，收割机前进速度与图像采样周期均较小，无论靶标投影矩形区域作何种运动，靶标投影矩形区域所包含的所有像素点最终均落在虚线框1的内部，且包含虚线框2内部的所有像素点，如图8所示。

由于虚线框1外部的所有像素点均不属于靶标投影矩形区域，可直接滤掉，定义虚线框1为外波门；由于虚线框2内部所有像素点均属于靶标投影矩形区域，定义虚线框2为内波门。引入双重波门后，仅需确定内外波门的中心位置（0,0）及内外波门的尺寸即可计算出靶标投影矩形区域的形心坐标。

3）内外波门参数选取

在双重波门跟踪算法中，波门中心的选择和内外波门间所包含的像素点数决定着算法的实时性和鲁棒性。由于主机与从机间距离较远，且图像采样周期、从机与主机间的相对运动速度均较小，相邻两帧图像中靶标投影矩形区域形心位置变化很小，可将前一帧图像中靶标投影矩形区域的形心位置作为当前帧波门的中心。

内外波门间所包含的像素点数由内外波门尺寸决定，与前一帧图像中靶标投影矩形区域的尺寸和相邻两帧图像采样间隔内靶标投影矩形区域在图像坐标系下移动的最大像素数有关。

根据图8中几何关系，可由式（6）计算出内波门与外波门的长和宽。

式中d、d表示外波门和内波门的宽度，pixel；d、d表示外波门和内波门的长度，pixel；、表示前一帧图像中靶标投影矩形区域的宽度和长度，pixel；d表示靶标投影矩形区域形心单采样周期内移动的最大像素数，pixel。d大小与主机与从机的相对运动最大速度有关，结合靶标成像原理，可由式（7）计算得到。

（7）

式中max表示主机与从机间相对运动的最大速度，m/s；表示图像采样周期，s；l表示前一帧测量得到的主从距离，m；d表示单位像素所表示的距离，m/pixel；表示摄像机的焦距，m。

为了提高跟踪的实时性，靶标跟踪过程中只计算靶标投影矩形区域形心位置及靶标投影矩形区域所包含的像素数，靶标投影矩形区域的宽度及长度可由式（8）估算得出。

式中S为前一帧图像中靶标投影矩形区域所包含像素数，为靶标底面直径与高度的比值。

4）内外波门参数选取方法的普适性

由于收割机实际作业过程中，车身的振动、姿态变化均可能使得靶标投影区域的几何形状产生较小畸变，投影区域发生微小旋转。以上2种情况均有可能使得靶标投影区域超出外波门。为解决以上问题，提高方法的普适性，实际应用中可将外波门设置成半径为R的圆，半径R可由式（9）计算

式中d为畸变增量，pixel；圆形的外波门可保证在靶标投影区域发生旋转的情况下，仍能包含靶标投影区域的所有像素点；畸变增量d可防止因投影区域发生畸变而使得投影区域超出外波门。由于从机与主机之间的距离一般大于20 m，且摄像头与靶标形心基本处于同一高度，拍摄角度基本保持水平，靶标投影区域的畸变是很微小的，d可根据试验测量得出，一般为3～8像素。

5）靶标形心坐标计算

根据内外波门的定义及所确定的内外波门参数，当前帧图像中靶标投影矩形区域的形心坐标

式中x，y分别为波门中心的横坐标和纵坐标；为内波门与外波门间所包含的像素点集合。

1.3.2 变尺度变论域模糊控制器设计

靶标运动具有随机性，且不同距离下存在尺度变化，很难用精确的数学模型描述，因此经典控制效果不佳。由于变论域模糊控制具有不依赖于精确数学模型的优势，本文基于变论域模糊控制思想，以1和2为输入变量，以云台的水平方向旋转偏移量1、俯仰偏移量2、水平方向旋转速度v1、俯仰运动速度v2为输出变量，设计相对较优的控制律，使得偏差→0。

1）输入输出变量的论域及其隶属度函数

模糊控制器输入为1和2，初始论域分别设为[−200,300]、[−300,300]。输出变量为云台的水平方向偏移量1、俯仰偏移量2、水平方向旋转速度v1、俯仰运动速度v2，初始论域分别为[−1 000,1 000]、[−5 000, 5 000]、[60,1 000]、[60,500]。

如图9所示，输入输出的模糊论域均设为[−6,6]，并分别在此论域上定义7个子集：负大（NB）、负中（NM）、负小（NS）、零（ZO）、正小（PS）、正中（PM）、正大（PB）。各个模糊子集的隶属度函数选取为高斯函数

式中e为自然常数；u(e)为输入变量e在第条模糊规则中模糊语言值的隶属度；y为第条模糊规则中模糊输出语言值的隶属度函数中心点；为标准差。

注：NB，NM，NS，ZO，PS，PM，PB为输入输出模糊集合语言变量。

Note: NB, NM, NS, ZO, PS, PM, PB were linguistic of input and output fuzzy sets

图9 隶属度函数

Fig.9 Membership degree function

2）模糊控制规则

根据云台的控制经验，模糊控制规则的设定原则为：靶标投影矩形区域形心偏离图像中心位置较远时，即1(2)较大时，云台应该快速旋转，提高控制器的动态性能，即旋转速度v1(v2)值应取得较大，偏移量1(2)也相应的取得大一些。靶标投影矩形区域形心位置离中心位置较近时，即1(2)较小时，云台应该旋转的慢一些，以减小超调量，即旋转速度v1(v2)值应取得较小，位移偏移量1(2)也相应取较小值。根据以上原则，速度变量v1、v2和偏移量1、2的模糊控制规则如表2所示。

表2 模糊控制规则表

3）模糊推理及去模糊化

本文采用乘积推理机、单值模糊器和中心平均解模糊相结合的算法[26-27]，得到云台的水平方向旋转速度、俯仰速度、水平方向偏移量和俯仰偏移量。

式中p为偏移量；v为旋转速度；T为偏差输入比例因子，K、K为偏移变量与速度变量的输出比例因子。

4）论域伸缩因子

随着1(2)的减小，为了在不增加模糊规则的前提下，实现精确控制，需要更细致的划分输入、输出论域[28-29]。本文选取指数函数作为伸缩因子[30]，输入输出变量的伸缩因子分别为

式中、2分别为输入变量1、2的伸缩因子；1、2分别为输出变量1、2的伸缩因子；1、2分别为输出变量v1、v2的伸缩因子；、2为常量表示比例因子；、2为伸缩幅度调节量。

实际应用中，论域伸缩因子可与输入比例因子、输出比例因子结合控制论域的伸缩，输入输出比例因子修正为

5）变尺度对靶规则设计

实际对靶过程中，为了获得较高的对准频率和对准精度，对准规则一般选择为

式中为终止常数。

如图10所示，当摄像机与靶标间距离为0（一般选择靶标投影区域所包含像素点数为10 000时，摄像机与靶标间的距离作为基准距离0）时，通过试验测得满足定位精度及输出频率的值为0。当0时，摄像机与靶标间距离分别为0和时，激光束在靶标上的投影点分别为点和点。

由图10中几何关系

式中0为点到连线的距离，m；为点′到′连线的距离，m；0为点到连线的距离，m；为点′到′′连线的距离，m。0为靶标与摄像机间的基准距离，m；0为摄像机与靶标间距离为0时的终止常数。由式（16）知，随着靶标与摄像机间距离的增大，值逐渐增大。如果选择固定的值，测量精度随距离的增大而降低。为了提高测量精度，需要设计变尺度的值。设计规则为：求取变尺度的值，随着摄像机与靶标间距离的变化，值基本保持不变，即：=0恒成立。由式（16）值应满足

（17）

因此，满足=0的值

由于、0均小于靶标半径，相对摄像机与靶标间距离很小，可忽略不计，即

（19）

由成像原理知，摄像机到靶标距离的平方和靶标在图像坐标系中所成的区域面积成反比

式中、0分别表示摄像机到靶标距离为、0时，靶标在图像坐标系下投影矩形区域的面积。因此，变尺度值为

（21）

2 路面验证试验

2.1 试验平台与试验方法

2.1.1 试验平台

为了验证本文算法的有效性，将自主研发的相对位姿测量装置安装在从机驾驶室顶端，将靶标安装在主机驾驶室顶端，将自主研发的自主导航装置安装在跟随收割机上，搭建了相对定位及跟随导航试验平台，进行了定位试验和跟随导航试验，试验现场如图11a所示。

a. 试验现场

a. Experiment site

试验过程中，实时采集从机的航向信息，采样频率为100 Hz，测量精度为±1°。在主机与从机上分别配备一套高精度GPS，定位精度为2 cm。主机上的高精度GPS安装于红色靶标上底面的圆心处，用于测量主机的UTM坐标；而从机上的高精度GPS安装在云台顶端，采集的定位数据用于与本文提出的定位方法所获取的定位数据进行对比。同时使用采集的定位数据计算从机相对设定路径的偏差，验证本文所提定位方法能否用于跟随导航。网关设备实现了主机与从机间的互通互联，可将主机的UTM坐标广播给从机。

2.1.2 试验过程与方法

一般情况下，收割机群在作业过程中，主机与从机的作业路径平行，且主机与从机间应保持一定纵向距离作业，以防止碰撞。因此，本文选择如图11b所示的路径作为主机和从机的试验路径。初始状态下，主机停在点2，从机停在点1。

试验步骤如下：1）打开试验相关的RTK-GPS基准站系统、试验数据检测记录系统，启动相对定位装置；2）首先设定主机的路径，选择一处长度200 m左右收割过的田块，记路径2个端点分别为点0、点0，该目标路径为线，作为主机的路径。以主机路径为基准，采用线偏移的方法规划出从机路径，并将从机路径通过无线节点发送给从机；3）将主机与从机停靠在各自导航路径线的端内侧，并使车辆尽量停靠在线上；4）启动相对定位装置，控制主机以0.8 m/s的速度从点2沿线段00运动到点0，启动自动导航装置，控制从机与主机保持横向偏移5 m，纵向偏移30 m跟随主机沿线段11运动；分别采用高精度GPS（定位精度为2 cm）和本文所述的定位装置测量从机的UTM坐标，并根据式（22）计算定位偏差，根据式（23）计算跟随导航偏差；5）当主机到达设定点0时，关闭定位装置及数据采集系统，结束一次定位导航试验，保存定位偏差数据及跟随导航偏差数据；6）重复步骤3）～5），重复试验4次；7）设定前进速度为1.0、1.2 m/s，重复步骤3）～6）。

从机定位偏差由式（22）计算得出

式中x1，y1分别为高精度GPS测量的从机第个轨迹点UTM横纵坐标；x2，y2分别为定位装置所测量的从机第个轨迹点UTM坐标；为轨迹点数；d为第个点的定位偏差，m；e为定位平均偏差，m。

从机的跟随导航偏差d由式（23）计算得出

式中++=0为设定路径00的直线方程；d为第个轨迹点的横向偏差，m；e为跟随导航平均偏差，m。

2.2 试验结果与分析

2.2.1 试验结果

定位偏差统计结果如表3所示，当收割机前进速度为0.8 m/s时，平均定位偏差为0.127 9 m；当前进速度为1.0 m/s时，平均定位偏差为0.128 6 m。当前进速度为1.2 m/s时，平均定位偏差为0.132 1 m。

从机跟随导航试验结果如表4所示，当收割机前进速度为0.8 m/s时，平均导航偏差为0.224 9 m；当前进速度为1.0 m/s时，平均导航偏差为0.239 8 m。当前进速度为1.2 m/s时，平均导航偏差为0.252 2 m。

2.2.2 试验结果分析

定位试验结果分析：由表3结果计算得知，不同速度最大偏差的标准差为0.003 5 m，平均偏差的标准差为0.002 3 m，这表明最大偏差与平均偏差随速度的变化波动很小，受到速度的影响不大。这是因为作业过程中，主机与从机间基本保持相对静止状态或者相对运动速度非常小的相对运动状态，相对位姿测量装置相对靶标移动的距离较小，所测量的距离数据非常接近真实值，定位偏差受到前进速度的影响也就较小。

表3 不同速度从机定位偏差统计结果

表4 不同速度从机跟随导航偏差统计结果

定位偏差成因分析：偏差成因可分为两方面，一方面计算定位数据所采用的激光测距仪、航向传感器、转角编码器均具有一定偏差，这不可避免的会给系统带来一定的定位偏差；另一方面受到云台旋转最小步长的限制，存在一定的对准偏差，这也会给系统带来一定的定位偏差。

从机跟随导航试验结果分析：跟随导航在不同速度下，跟随导航结果均小于0.3 m，表明本文所提定位方法可在收割、耕整地等大面积农业环节的自主导航中应用。

3 结 论

针对联合收割机群协同导航从机实际定位需求，提出了一种基于视觉伺服的从机定位方法，研发了相对定位装置。

1）针对运动靶标跟踪问题，采用设置内外波门的方法限定靶标投影矩形区域搜索范围，提高了运动靶标跟踪的实时性。相较于其他运动靶标跟踪方法，算法实现简单、复杂度低、实时性高，能够实现对特定目标的定位跟踪。

2）针对精确对靶控制问题，引入变尺度对准规则和论域伸缩因子，提高控制器对不同距离的适应性和零点附近的定位精度。相较于其他的对靶控制方法，变尺度对准规则的引入，提高了零点附近的对靶精度。

通过试验证明，本文所提方法的定位精度基本与前进速度无关，不同速度最大偏差的标准差为0.003 5 m，平均偏差的标准差为0.002 3 m。前进速度0.8、1.0和1.2 m/s时，从机平均定位偏差分别为0.127 9、0.128 6和0.132 1 m，从机跟随导航偏差分别为0.224 9、0.239 8和0.252 2 m。本研究中的运动靶标跟踪、对靶控制等方法也可为西红柿、草莓、黄瓜等经济作物的智能采摘提供参考。

[1] 胡静涛，高雷，白晓平，等. 农业机械自动导航技术研究进展[J]. 农业工程学报，2015，31(10)：1－10.

Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vechicles[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(10): 1－10. (in Chinese with English abstract)

[2] Shearer S A, Pitla S K, Luck J D. Trends in the automation of agricultural field machinery[C]//In Proc. of the 21st Annual Meeting of the Club of Bologna. Italy, 2010.

[3] Bochtis D D, Sørensen C C. Conceptual model of fleet management in agriculture[J]. Biosystems Engineering, 2010, 105(1): 41－50.

[4] Vougioukas S G. A distributed control framework for motion coordination of teams of autonomous agricultural vehicles[J]. Biosystems Engineering, 2012, 11(3): 284－297.

[5] Johnson D A, Naffin D J, Puhalla J S, et al. Development and implementation of a team of robotic tractors for autonomous peat moss harvesting[J]. Journal of Field Robotics, 2009, 26(6/7): 549－571.

[6] 姬长英，周俊. 农业机械导航技术发展分析[J]. 农业机械学报，2014，45(9)：44－54.

Ji Changying, Zhou Jun. Current situation of navigation technologies for agricultural machinery[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 44－54. (in Chinese with English abstract)

[7] 罗锡文，张智刚，赵祚喜，等. 东方红X-804拖拉机的DGPS自动导航控制系统[J]. 农业工程学报，2009，25(11)：139－145.

Luo Xiwen, Zhang Zhigang, Zhao Zuoxi ,et al. Design of DGPS navigation control system for Dongfanghong X-804 tractor[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(11): 139－145. (in Chinese with English abstract)

[8] 李逃昌，胡静涛，高雷，等. 一种与行驶速度无关的农机路径跟踪方法[J]. 农业机械学报，2014，45(2)：59－65.

Li Taochang, Hu Jingtao, Gao Lei, et a1. Agricultural machine path tracking method irrelevant to travel speeds[J]. Transaction of the Chinese Society for Agricultural Machinery, 2014, 45(2): 59－65. (in Chinese with English abstract)

[9] 郭娜，胡静涛，王鹤. 基于GPS导航的插秧机作业控制系统[J]. 农业机械学报，2013，44(1)：200－204.

Guo Na, Hu Jingtao, Wang He. Intelligent operation control system for rice transplanter based on GPS navigation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(1): 200－204. (in Chinese with English abstract)

[10] 周建军，张漫，汪懋华，等. 基于模糊控制的农用车辆路线跟踪[J]. 农业机械学报，2009，40(4)：151－156.

Zhou Jianjun, Zhang Man, Wang Maohua, et al. Path tracking for agricultural vehicle based on fuzzy control[J]. Transaction of the Chinese Society for Agricultural Machinery, 2009, 40(4): 151－156. (in Chinese with English abstract)

[11] 陈军，朱忠祥，鸟巢谅，等. 基于神经网络的农用车辆自动跟踪控制[J]. 农业机械学报，2007，38(5)：131－133.

Chen Jun, Zhu Zhongxiang, Torisu R, et a1. Automatic on-tracking control of farm vehicle based on neural network[J]. Transactions of The Chinese Society of Agricultural Machinery, 2007, 38(5): 131－133. (in Chinese with English abstract)

[12] 刘兆祥，刘刚，籍颖，等. 基于自适应模糊控制的拖拉机自动导航系统[J]. 农业机械学报，2010，41(11)：148－152，162.

Liu Zhaoxiang, Liu Gang, Ji Ying, et al. Autonomous navigation system for agricultural tractor based on self-adapted fuzzy control[J]. Trasactions of the Chinese Society for Agricultural Machinery, 2010, 41(11): 148－152, 162. (in Chinese with English abstract)

[13] 刘军，袁俊，蔡骏宇，等. 基于GPS/INS和线控转向的农业机械自动驾驶系统[J]. 农业工程学报，2016，32(1)：46－53.

Liu Jun,Yuan Jun,Cai Junyu, et al. Autopilot system of agricultural vehicles based on GPS/INS and steer-by-wire[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(1): 46－53. (in Chinese with English abstract)

[14] 刘柯楠，吴普特，朱德兰，等. 基于GPS的太阳能平移式喷灌机自主导航系统设计与试验[J]. 农业工程学报，2016，32(16)：89－94.

Liu Kenan, Wu Pute, Zhu Delan, et al. Design and experiment of autonomous navigation system for solar powered linear move sprinkler machine based on GPS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(16): 89－94. (in Chinese with English abstract)

[15] 张美娜，吕晓兰，陶建平，等. 农用车辆自主导航控制系统设计与试验[J]. 农业机械学报，2016，47(7)：42－47.

Zhang Meina, Lü Xiaolan, Tao Jianping, et al. Design and experimental of automatic guidance control system in agricultural vechicle[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(7): 42－47. (in Chinese with English abstract)

[16] 孟庆宽，张漫，杨耿煌，等. 自然光照下基于粒子群算法的农业机械导航路径识别[J]. 农业机械学报，2016，47(6)：11－20.

Meng Qingkuan, Zhang Man, Yang Genghuang ,et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11－20. (in Chinese with English abstract)

[17] 汤一平，王伟羊，朱巍，等. 基于机器视觉的茶陇识别与采茶机导航方法[J]. 农业机械学报，2016，47(1)：45－50.

Tang Yiping, Wang Weiyang, Zhu Wei, et al. Tea ridge identification and navigation method for tea-plucking machine based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(1): 45－50. (in Chinese with English abstract)

[18] 李景彬，陈兵旗，刘阳. 棉花铺膜播种机导航路线图像检测方法[J]. 农业机械学报，2014，45(1)：40－45.

Li Jingbin, Chen Bingqi, Liu Yang. Study on image detection method of navigation route of the cotton plastic film mulch planter[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(1): 40－45. (in Chinese with English abstract)

[19] 何洁，孟庆宽，张漫，等. 基于边缘检测与扫描滤波的农机导航基准线提取方法[J]. 农业机械学报，2014，45(11)：265－270.

He Jie, Meng Qingkuan, Zhang Man, et al. Crop baseline extraction method for off-road vechicle based onboundary detection and scan-filter[J]. Transactions of the Chinese Society for Agricultural Machinery 2014, 45(11): 265－270. (in Chinese with English abstract)

[20] 赵颖，陈兵旗，王书茂. 基于机器视觉的耕作机器人行走目标直线检测[J]. 农业机械学报，2006，37(4)：81－86.

Zhao Ying, Chen Bingqi,Wang Shumao, et al. Fast detection of furrows based on machine vision on autonomous mobile robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(4): 81－86. (in Chinese with English abstract)

[21] 陈娇，姜国权，杜尚丰，等. 基于垄线平行特征的视觉导航多垄线识别[J]. 农业工程学报，2009，25(12)：107－113.

Chen Jiao, Jiang Guoquan, Du Shangfeng, et al. Crop rows using visual navigation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(12): 107－113. (in Chinese with English abstract)

[22] 王新忠，韩旭，毛罕平，等. 基于最小二乘法的温室番茄垄间视觉导航路径检测[J]. 农业机械学报，2012，43(6)：161－166.

Wang Xinzhong, Han Xu, Mao Hanping, et al. Navigation line detection of tomato ridges in greenhouse based on least square method[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(6): 161－166. (in Chinese with English abstract)

[23] 刁智华，赵明珍，宋寅卯，等. 基于机器视觉的玉米精准施药系统作物行识别算法及系统实现[J]. 农业工程学报，2015，31(7)：47－52.

Diao Zhihua, Zhao Mingzhen, Song Yinmao , et al. Crop line recognition algorithm and realization in precision pesticide system based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(7): 47－52. (in Chinese with English abstract)

[24] 梁习卉子，陈兵旗，姜秋慧，等. 基于图像处理的玉米收割机导航路线检测方法[J]. 农业工程学报，2016，32(22)：43－49.

Liangxi Huizi, Chen Bingqi, Jiang Qiuhui , et al. Detection method of navigation route of corn harvester based on image processingJ]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(22): 43－49. (in Chinese with English abstract)

[25] 张铁民，庄晓霖. 基于DM642的高地隙小车的田间路径识别导航系统[J]. 农业工程学报，2015，31(4)：160－167.

Zhang Tiemin, Zhuang Xiaolin. Identification and navigationsystem of farmland path for high-clearance vehicle based on DM642[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(4): 160－167. (in Chinese with English abstract)

[26] 熊中刚，叶振环，贺娟，等. 基于免疫模糊PID的小型农业机械路径智能跟踪控制[J]. 机器人，2015(2)：212－223.

Xiong Zhonggang, Ye Zhenhuan, He Juan, et al. Small agricultural machinery path intelligent tracking control based on fuzzy immune PID[J]. Robot, 2015(2): 212－223. (in Chinese with English abstract)

[27] 张伶鳦，王润涛，张长利，等. 基于调亏理论和模糊控制的寒地水稻智能灌溉策略[J]. 农业工程学报，2016，32(13)：52－58.

Zhang Lingyi, Wang Runtao, Zhang Changli, et al. Intelligent irrigation strategy based on regulated deficit theory and fuzzy control for rice in cold region[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 52－58. (in Chinese with English abstract)

[28] 牛寅，张侃谕. 轮灌条件下灌溉施肥系统混肥过程变论域模糊控制[J]. 农业机械学报，2016，47(3)：45－52.

Niu Yin, Zhang Kanyu. Variable universe fuzzy control of water-fertilizer mixing process in fertigation system under rotational irrigation situation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(3): 45－52. (in Chinese with English abstract)

[29] 李洪兴. 变论域自适应模糊控制器[J]. 中国科学，1999，29(1)：33－42.

Li Hongxing. Variable universe adaptive fuzzy logic controller[J]. Science in China, 1999, 29(1): 33－42. (in Chinese with English abstract)

[30] 李琳，周国雄. 基于逆模型解耦的绿茶烘焙变论域模糊控制[J]. 农业工程学报，2014，30(7)：258－267.

Li Lin, Zhou Guoxiong. Method of variable universe fuzzy control base on inverse-model decoupling for green tea baking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(7): 258－267. (in Chinese with English abstract)

Slave positioning method for cooperative navigation of combine harvester group based on visual servo

Bai Xiaoping, Hu Jingtao※, Wang Zhuo

(1.,110016,; 2.,,110016)

With the improvement of the farm mechanization level, the more corporate’ style farming emerges. For example, more than one harvester collaborated with each other completes the task of harvesting operations. The new corporate style farming creates several new challenges for the agricultural machinery navigation, and the group navigation is the trend of agricultural machinery navigation technology. Group positioning and collaborative navigation control are the 2 critical technical problems to be resolved. In order to solve the slave positioning problem, a slave positioning method based on visual servo was proposed. Firstly, the combine group based on mater-slave structure was introduced, and the slave positioning scheme was proposed. In order to fulfill the automatic measurement of the slave position, the relative positioning device was designed. The structure and measurement process of the positioning device were introduced in detail. The positioning device was composed of laser ranging sensor, PTZ (PanTiltZoom)controller and monocular camera. The monocular camera was used to guide the laser ranging sensor to aim at the target. The laser ranging sensor was used to measure the distance between the master and the slave. The laser ranging sensor guaranteed high precision of the measurement data. The position measurement process could be divided into 2 steps. The first step was to measure the relative position posture between the master and the slave. According to the deviation between the target’s center and the image center, the system adjusted the platform’s direction to change the posture of the camera, so that the 2 centers in the target and themage could coincide approximately. After aiming at the target, the laser sensor was triggered to measure the distance between the master and the slave. The second step was to calculate the slave positon. A global localization model was built up to show the relative location relationship between the master and the slave, and the slave’s coordinate under global coordinate system could be calculated. Secondly, in order to solve the 2 key problems in the process of the position measurement, 2 methods were proposed. A method of automatic identification for motion target based on dual windows was proposed to reduce the visual feedback delay. This target identify method filtered out most of the identified area by setting dual windows, and searched the target point only in a small area of the image. A variable-scale variable-universe fuzzy control method was proposed to improve the target control accuracy. This method introduced the contraction-expansion factor to improve the granularity of fuzzy rules without increasing the number of control rules, and introduced the variable scale factor to improve the adaptability to the change in the distance between the master and the slave. Finally, in order to verify the effectiveness of the proposed model and method in this paper, the slave positioning experiments were carried out. When the slave ran at the speed of 0.8, 1.0 and 1.2 m/s, the average positioning error was 0.127 9, 0.128 6 and 0.132 1 m respectively. The experimental results show that the slave positioning accuracy is independent of the forward speed, and can meet the slave positioning requirement.

agricultural machinery; control; navigation; combine group; group positioning; visual servo; target control

10.11975/j.issn.1002-6819.2016.24.008

S220.1

A

1002-6819(2016)-24-0059-10

2016-05-06

2016-11-09

国家高技术研究发展计划（863计划）资助项目（2013AA040403）；辽宁省科技攻关计划资助项目（2015104005）

白晓平，博士，主要从事农机导航控制方面的研究。沈阳 中国科学院沈阳自动化研究所，110016。Email：baixiaopin@sia.cn

胡静涛，教授，博士生导师，主要从事农机精准作业控制技术研究。沈阳 中国科学院沈阳自动化研究所，110016。Email：hujingtao@sia.cn