基于图像跟踪的云台控制系统设计

雒珊，邱炎儿，胡鹏飞

（吕梁学院物理系，山西吕梁，033301）

0 引言

科学技术的快速发展，人工智能时代的来临，机器视觉越来越受到人们的重视。互联网、物联网、工业4.0革命的兴起，基于视觉的目标定位对于机器人视觉导航、机械手对目标进行作业任务都具有重要的研究意义。

传统的目标定位技术主要利用雷达、激光、红外线等传感器进行测距以达到目标定位的目的，但是用这些传感器存在以下缺点：一方面，它们很容易受到机器本身携带的其他传感器的影响，导致测距不准；另一方面，它们的最大缺点是不能识别目标物体[1]。而随着视觉传感的发展，近年来，利用视觉传感器获取景物特征，实现定位的方法因其所需要的实验环境和硬件条件更加宽松、成本较低、在实际应用中更直观有效而受到了重视。根据使用视觉传感器的数目不同，视觉定位方法可分为基于单目视觉的定位、基于双目视觉的定位和基于全方位视觉的定位。在双目视觉定位方面：王才东提出利用双目视觉检测零件的位姿[2]。杨宇提出利用改进的ORB 算法实现双目视觉定位方法[3][4]。王翰提出利用双目视觉定位圆特征工件空间[5]。在单目视定位方面：孙龙培提出利用单目视觉实现室内多行人目标的联系定位[6]。彭冬旭使用单目视觉实现机器人的定位[7]。通过对比研究发现，与双目视觉和多目视觉技术相比较，单目视觉技术具有高效灵活，结构简单的优点，同时消除了双目视觉的盲区、最优距离和立体匹配难等问题的影响。并且通过设计实现单目视觉的运动目标识别，改善以往灰度传感器识别的局限性，极大提高适用范围。

单目视觉技术和云台的有效结合不仅能降低加工成本，而且能提高加工效率。单目视觉的云台控制系统的设计在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合可以大范围推广使用[8]。同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度；配合云台控制的应用，对于提升现代化工厂的生产效率以及自动化程度都有重要的意义。本设计通过设计实现单目视觉的运动目标识别，改善以往灰度传感器识别的局限性，极大提高适用范围。

1 总体设计方案

本设计硬件上采用OpenMV4（Cam H7）摄像头实现目标物体的识别与定位，结合串口通信电路，把获取的颜色阈值、位置坐标、距离等信息传到核心处理器STM32F103ZET6单片机中，通过数据解析，结合按键电路的模式切换，将摄像头实时识别画面显示在TFT液晶屏、参数计算结果显示在液晶显示屏上；软件采用独立式分块编程的设计方式，逻辑结构简单清晰。

主要包括单片机控制单元、摄像头采集单元、USART通信单元、LCD液晶屏显示单元、二轴云台控制单元五个单元组成。系统结构框图如图1所示，系统外观结构3D视图如图2所示，系统电路原理图图3所示。

图1 系统结构框图

图2 系统外观结构视3D图

图3 系统电路原理图

2 硬件模块设计

2.1 主控制器

采用STM32单片机进行系统的控制。STM32单片机对于控制方面有很多优势。体现在：该系列芯片主时钟频率能够达到72MHz，为系统运行速度、高效的计算能力提供保障。同时具备强大的分频功能，能够满足串口波特率、产生50Hz方波等精细需求。STM32拥有众多外设及功能，具有极高的集成度[9]。STM32拥有强大的功耗控制的能力。能够通过软件设置，进行独立初始化部分模块，对于当前不使用的模块能够选择性关闭，这样人性化的设计极大降低功耗。较为适合需要快速反应的运动目标图像采集传输，以及二轴云台系统的控制。

2.2 摄像头采集

采用Pixy(CMUcam5)摄像头作为图像采集。Pixy摄像头使用的是基于色调过滤算法来识别物体。计算图像传感器每个RGB像素的色度和饱和度将其作为主要的滤波参数[10]。Pixy可记忆多达多达7种不同的色彩饱和度。并且拥有独立的处理器进行图像处理，Pixy处理一幅640×640图片仅需1/50秒。

2.3 图像液晶显示

采用TFTLCD彩屏。TFTLCD是一种通用的电容触摸屏幕。使用范围较为广泛。实现屏幕显示也较为容易。很容易做成大屏。TFT液晶显示器上的每一液晶象素点都是由集成在其后的薄膜晶体管来驱动，从而可以做到高速高亮高对比度的显示屏幕信息，实现屏幕显示也较为容易，易于扩展，制作工艺相对比较成熟，制作成本相对较低。

2.4 云台控制模块

云台控制单元，主要由两个数字舵机组成，舵机的选择决定云台系统的稳定。针对本设计需求，高响应，易控制，最终选择数据舵机作为云台控制基础。

本系统设计完成的具体性能指标如下：

（1）基于单目视觉的目标物体的识别，回传目标物体相对位置、颜色等；

（2）基于单目视觉的目标物体的追踪，实现该系统对于被测物体的实时追踪；

（3）通过液晶显示屏实时显示目标物体信息以及云台运行状态、通过TFT彩屏实现摄像头对于目标物体画面的实时显示；

（4）通过LED指示灯能够判断系统运行情况，避免系统运行出错；

（5）软件容错性处理：系统初始化进行系统自检，模块化问题定位；

（6）设计有紧急制动按键，能够有效进行云台紧急制动控制；

（7）供电系统：摄像头、主控芯片5V供电，显示屏5V供电、云台舵机12V。

3 系统软件设计

3.1 系统主程序的设计

本设计是基于图像跟踪的云台控制系统，从系统上电系统开始，首先进行系统重要部件（摄像头、通信模块、云台系统等）初始化，其次是系统自检，自检过程对于保证整个系统稳定运行具有至关重要的作用，如果自检不成功将重新进行系统初始化，直到系统正常工作[11]。经过一些列初始化以后，进入系统默认状态，通过按键扫描，如果有按键按下，读取键值，按键状态值为1时，进入到模式一，能够在屏幕上实时显示摄像头采集到的位置坐标以及目标颜色，按键状态值为2时，进入到模式二状态，云台跟随目标物体的位置坐标，做出指定的动作。如果读取到的键值不是1或者2，将进入到默认模式，云台禁止状态。直到断开电源，系统结束运行。系统软件总流程如图4所示。

图4 系统主程序流程图

3.2 图像处理子程序

摄像头采集物体的颜色信息、相对位置坐标信息，通过串口通信方式传到STM32主控制器中，当接收到发送的信息包，产生特定的数据包中断，进到数据解析子程序中，对数据进行CRC校验，检验失败，返回ACK信号标注这包数据错误，校验成功，则把一包数据保存到定义好的数组中备份，然后经过解析判断，去掉起始位数据，结束符，提取出有效信息，再通过十六进制转换子程序得出需要的十进制数据，保存到有用信息数据中，等待被调用。图像信息处理子程序流程如图5所示。

图5 图像数据处理子程序流程图

3.3 云台控制子程序

云台控制采用输出两路50Hz的PWM信号来驱动，通过接收数据解析，得到目标物体的坐标信息，根据云台舵机的180的特性，进行坐标信息转换。通过控制不同的占空比控制云台进行水平方向，垂直方向的位置变化。云台控制子程序流程图如图6所示。

图6 云台控制子程序流程图

4 系统调试

4.1 串口通信调试

串口调试作为一种常用的调试方式，具有方便快捷，精准定位等优势。本设计采用串口1（USART1）作为调试接口。首先需要进行硬件环境的搭建，RX接到TX,TX接到RX,确保正常通信，软件层，要实现于上位机正常通信，要保证波特率设置匹配，此处设定为9600baud，数据长度为8 Bits。调试过程界面如图7所示。

图7 串口调试界面

4.2 云台控制调试

云台控制调试，在软件层主要是输出PWM不同占空比控制，云台能否正常，稳定的运行，取决于输出波形的完整性，通过在线调试模式，能够看到输出方波的频率、幅度值、占空比大小等参数，能够很大程度上提高设计效率。在编写好程序后，切换到调试模式，找到对用输出串口，进到设置模式，配置输出I/O模式，此处为按照位输出方式。PWM输出调试界面如图8所示。

图8 PWM输出调试界面

4.3 摄像头采集稳定性调试

摄像头采集稳定性测试，主要通过采集帧数来判断，根据每秒采集帧数的稳定值得趋势来判断采集数据的准确性。稳定性测试如图9所示。

图9 图像采集帧数稳定性测试

5 实物测试结果

通过设计实现单目视觉的运动目标识别，改善以往灰度传感器、颜色传感器TCS3200、激光测距模块GY-53的局限性，极大提高适用范围。通过Openmv使用find_blobs()函数，通过滤波函数，滤除干扰项，进而实现对于被测区域（ROI）内物体的精确识别，识别效果图如图10所示。

图10 识别效果图

通过Openmv IDE实现测量数据的多次记录，并利用Matlab中的Cftool工具箱，实现函数拟合测距，达到对于被跟随物体的精准距离测量，达到对于目标物体的精准距离测量，拟合函数如图11所示。

图11 拟合函数

通过对于串口数据的Json协议解析，获取坐标、距离等信息，进而进行二轴云台的控制，Json数据解析如图12所示。

图12 数据解析

6 结束语

本设计以STM32单片机作为系统微控制器，采用Openmv4摄像头实现目标物体的识别与定位，运用增量式PID算法进行软件优化设计，改善了以往灰度传感器、颜色传感器等的局限性，实现物体的识别和控制，提升现代化工厂的生产效率。系统方案合理、设计优化，具有简单易用和适用范围广等特点，可推广应用于各类人工视觉难以满足要求的场合，或在大批量重复性工业生产过程中，用机器视觉检测方法来提高生产的效率和自动化程度，通过配合云台控制的应用，对于提升现代化工厂的生产效率以及自动化程度都有重要的意义。