视觉传感器在采摘机器人目标果实识别系统中的应用

樊艳英，张自敏，陈冠萍，李碧青

(贺州学院，广西 贺州 542899)

0 引言

在区块链农业平台的推进下，我国智慧农业的潜在市场价值逐渐加大，在新型农业生产模式的发展下，农业机器人必将得到广泛的发展。农业机器人是一种新型的生产工具，是自动化技术与农业生产深度融合发展的产物。采摘机器人是农业机器人中重要的一类，对我国未来水果产业发展具有重要意义。本文在对双目视觉系统和摄像机标定模型的研究中，设计了一套基于视觉传感器的采摘机器人目标果实识别系统，实现了目标果实的识别与定位。

1 采摘机器人总体设计

本文研究的基于视觉传感器的采摘机器人目标果实识别系统服务于水果采摘机器人，而采摘机器人的核心功能是实现对目标果实的采摘。采摘机器人作业过程：首先由CCD双目摄像机获取目标果实的图像信息，通过图像处理系统对图像的处理，实现对目标果实的识别和定位，获取目标果实的三维坐标信息；然后控制系统根据目标果实的三维坐标信息，驱动伺服电机控制末端执行器的运动；最后，通过控制系统和末端执行器的配合，实现对目标果实的采摘作业。该机器人主要由主控制部分、传感器组件、车声载体、主臂、大臂辅助组件、大臂组件、伺服电机、小臂组件、CCD摄像机和末端执行器等组成，如图1所示。

1. 传感器组件 2.主控制部分 3.车声载体 4.主臂 5.大臂辅助组件 6.大臂组件 7.伺服电机 8.小臂组件 9.CCD摄像机 10.末端执行器

1.1 系统硬件设计

采摘机器人的机械部分只是一个平台，要想实现对目标果实的采摘，还需要搭载以控制系统为核心的电路平台。该采摘机器人目标果实识别系统以主控制部分为核心，通过视觉传感器获取图像信息，由图像处理软件对图像信息进行处理，实现对目标果实的三维定位，进而实现采摘作业。采摘机器人目标果实识别系统示意图如图2所示。

为了实现末端执行器对目标果实的准确采摘，设计了机械臂控制系统，通过主控制器和伺服驱动的配合，实现对果实的成功采摘。本文采用DSP为核心处理器，采摘机器人目标果实识别系统主要包括DSP控制器、视觉系统、机械臂、末端执行器、上位机和移动装置等6部分，如图3所示。

图2 采摘机器人目标果实识别系统示意图

图3 目标果实识别系统电路控制框架图

1.2 系统软件设计

本文采用上位机实现对采摘机器人的远程控制，主要是控制机器人实现对目标果实的采摘。上位机软件是基于QT环境开发搭建的，其软件作业流程如图4所示，主界面如图5所示。

2 机器视觉系统设计

采摘机器人视觉系统主要包括目标果实识别和三维坐标定位两部分。本文采用维视数字图像技术有限公司的MV-EM系列小型千兆网CCD相机作为视觉传感器，并结合QT开发的上位机进行图像处理。采摘机器人视觉系统工作框架如图6所示。

视觉系统是采摘机器人目标果实识别系统的核心，视觉系统包括CCD相机和图像处理模块。系统通过双CCD相机获取果实图像信息，图像处理模块计算得到目标果实的数量、三维坐标，然后驱动控制末端执行器根据坐标进行采摘。

图4 智能采摘机器人系统软件流程示意图

图5 上位机主界面图

图6 采摘机器人视觉系统工作框架图

3 摄像机标定模型及目标果实识别定位

3.1 摄像机标定模型

摄像机通过成像透镜将三维场景投影到摄像机二维平面上，这个投影可用成像变换来描述。摄像机成像模型分为线性模型和非线性模型。针孔成像模型就是线性模型中的一种，本文在摄像机标定模型的分析中，采用线性模型进行讨论，某空间点与其图像投影点在各种坐标系下的坐标变换关系。三维空间物体成像模型如图7所示。

图7 三维图像成像模型图

该模型建立了4个不同层次的坐标系：

1)确定摄像机坐标系OCXCYCZC；

2)建立参考世界坐标系(XW,YW,ZW)；

3)确定以(x,y,z)的成像平面坐标系；

4)u-o-v为以像素为单位的图像坐标系。

图像和像素之间(u,v)之间的齐次坐标转换为

(1)

其中，u0、v0是图像中心坐标；du、dv是一个像素在x与y轴上的物理尺寸；s为光轴与坐标系之间的倾斜因子。

由此可以得到物点P与图像像素坐标系中的像点p的变换关系

(2)

其中，fx=fsx，fy=fsy分别为在x、y上的等效焦距。根据小孔成像原理，齐次坐标变换关系表示为

(3)

R=

(4)

T=(tx,ty,tz)T

(5)

其中，ψ为侧倾角；θ为俯仰角；φ为旋转角；向量R为正交旋转矩阵；向量T=[tx,ty,tz]T为世界坐标系原点在摄像机坐标系中的坐标。

3.2 目标果实识别定位

在很多哺乳动物如狮子、老虎、豹子等，它们两眼存在一点的距离，因此双眼的视野存在一定的差异性，通过双眼捕捉环境图像信息，便能够根据视觉差异对目标物体的位置进行定位。双目视觉获取目标果实三维信息与这些哺乳动物获取深度信息相近，都在某一时刻，双相机获得目标物体图像，然后通过视差进行深度信息的计算。双目视觉系统的原理就是通过双CCD摄像机同时对目标图像进行拍照，得到两幅具有差别的图像信息，然后根据视差原理重建物体三维模型，计算物体的三维信息。双目视觉定位原理示意如图8所示。

图8 双目视觉定位原理示意图

在定位识别过程中，设两个CCD图像传感器参数相同，在某一时刻分别获得被测物体P(x,y,z)的图像坐标为pl(ul,ul)，pr(ur,ur)。由于两CCD相机安装高度相同，因此点P在左右图像中的存在Yl=Yr=Y。两CCD相机中心点之间的距离为d，焦距为f，根据三角几何原理可得

(6)

转换后可以计算出P的三维坐标，即

(7)

本文摄像机标定中，d=56mm，f为1 268个像素，带入式(7)，即可得到P的三维坐标。

4 试验结果分析

为了验证采摘机器人目标果实识别系统的可行性和准确性，于2017年11月18日下午16:00，在某苹果种植园，对成熟苹果进行了目标识别及采摘试验。为了让试验正常进行，在试验前，对遮挡比较严重的果实进行了一定的整理，分为向光和背光两轮开展。目标果实的定位试验结果如表1所示。采摘结果如表2所示。

表1 目标果实的定位试验结果

表2 采摘实验结果

由表1和表2可以看出：在采摘试验中，无论是向光或背光，采摘机器人对目标果实的半径和距离识别都较准确，单果的果实半径误差在6mm以内，距离误差在8mm以内，能够满足采摘机器人对苹果采摘的容差率。试验结果表明：采摘机器人目标果实识别系统的识别定位误差在8mm以内，识别成功率在89%以上，定位成功率在88%以上，成功采摘率在96%以上，系统精度高，采摘效果良好。

5 结论

针对采摘机器人作业特性，基于双视觉传感器，设计和研究了一套采摘机器人目标果实识别系统。该系统搭建了双目立体视觉系统，融合了图像处理与自动化控制技术，实现了对目标果实的识别和定位功能，能够成功对目标果实进行采摘作业。试验结果表明：该目标果实识别系统的识别定位误差在8mm以内，成功采摘率在96%以上，系统精度高，采摘效果良好，对实现水果采摘的自动化、无人化具有重要现实意义。