煤矿掘进机器人虚拟仿真与远程控制系统

张旭辉， 陈利， 马宏伟， 毛清华， 杜昱阳， 赵友军

(1.西安科技大学 机械工程学院， 陕西 西安 710054； 2.西安煤矿机械有限公司， 陕西 西安 710032)

经验交流

煤矿掘进机器人虚拟仿真与远程控制系统

张旭辉1,2， 陈利1， 马宏伟1， 毛清华1， 杜昱阳1， 赵友军2

(1.西安科技大学 机械工程学院， 陕西 西安 710054； 2.西安煤矿机械有限公司， 陕西 西安 710032)

针对现有掘进机视频监控和遥测遥控等监控方式存在图像不清晰、无法真实反映掘进机位姿和工况状态等问题，提出了一种煤矿掘进机器人虚拟仿真与远程控制系统，介绍了系统方案设计，对掘进机器人改进设计、虚拟仿真远程监控平台、掘进机器人控制模型等关键技术进行了研究。该系统利用虚拟现实技术有机整合井下操作人员、掘进机器人和井下环境信息，以掘进机器人自动掘进和远程人工干预为目的，实现了掘进过程的运动控制和巷道成型掘进控制功能。实验结果验证了该系统的有效性和良好的控制性能。

煤炭开采； 综掘工作面； 掘进机器人； 自动掘进； 巷道自动成型控制； 虚拟现实

0 引言

传统煤矿巷道掘进设备的自动化、智能化程度较低，依靠操作人员实现截割断面成型控制和掘进机位姿调整，会产生截割断面超挖、欠挖多发等问题，且掘进效率低下，致使采掘失衡，严重影响了煤矿井下开采的组织节拍。目前井下掘进机监控方式主要包括视频监控和遥测遥控。由于煤矿井下环境复杂、粉尘较多，导致这2种方式的监控图像不清晰，监控人员无法得到真实的掘进机位姿和工况等信息。综掘工作面自动化程度已成为制约煤矿安全高效生产的关键环节[1]。高效自动掘进设备是近年的研究热点，国内研究机构和学者在掘进机自动控制方面的研究成果显著。中国矿业大学吴淼教授主持完成国家高技术研究发展计划(863计划)项目“掘进机远程控制技术及监测系统”，在悬臂式掘进机近点遥控、井下遥控、地面监测和自动截割成型控制等方面取得了较大进展[2]。神华集团有限责任公司研发出全断面煤巷快速自动化掘进系统及关键装备，成功实现最高月进尺超过4 000 m的目标。上述2种巷道成型控制方案和实现方式不同，均有效地提高了掘进系统的自动化水平。通过吸收国内外成熟先进的自动化和信息化技术，国内学者对掘进机定位导向等全过程进行了数字化表达，以实现无人作业目标[3]。笔者在参考文献[4]中提出借助虚拟现实技术辅助决策掘进机等煤矿井下设备的远程控制，将群机器人理念用于煤矿综采、综掘工程应用，并建立了一系列实验平台，系统地进行研究，实现了控制人员、掘进机器人、井下巷道环境信息的良好交互，为操作者提供了良好的远程人工干预决策支持。

本文设计了一种煤矿掘进机器人虚拟仿真与远程控制系统，可有效提高掘进机器人自动掘进和成型掘进的能力；利用虚拟现实技术，构建了一种浸入感强、交互性好的掘进机器人远程监控平台，完成掘进机器人的自动掘进和远程人为干预，使自动掘进工作安全、高效进行，实现不同断面形状巷道的少人甚至无人掘进。

1 系统组成及工作原理

基于虚拟现实技术的煤矿掘进机器人虚拟仿真与远程控制系统由虚拟操控平台、虚拟现实远程监控平台、掘进机器人、机身传感器和机载控制器组成，如图1所示。虚拟操控平台由操控台、数据库、虚拟现实数据接口和高速数据采集卡组成，以实现掘进机器人远程控制命令的发送。虚拟现实远程监控平台由虚拟掘进机器人与综掘场景模型、灯光、相机和人机交互界面组成，实现掘进机器人工作状态的真实再现和数据监测功能。掘进机器人是一种可编程的高自动化掘进机，为了执行不同的掘进任务而具有可用电脑改变和可编程动作的能力。机身传感器用于测量掘进机器人位姿工况信息，为掘进机器人的定位和掘进提供依据。机载控制器完成掘进机器人本地控制、掘进机器人主要部件工况参数的预处理和特征提取。

图1 系统组成及工作原理

虚拟操控平台发送控制指令，控制信号由高速数据采集卡和虚拟现实数据接口进行采集并分类存入数据库。在虚拟现实远程监控平台中，Quest 3D虚拟现实软件程序读取数据库中的控制指令，将其通过通信总线发送给掘进机器人机载控制器，以驱动井下掘进机器人运动。同时，虚拟操控平台控制指令驱动虚拟掘进机器人运动，实现虚拟掘进机器人与井下掘进机器人同步动作。掘进作业时，虚拟现实远程监控平台按照巷道界面和截割头尺寸等编制截割轨迹，对截割头控制量进行解算，求解出各连杆关节变量，确定各液压缸伸缩量。虚拟现实远程监控平台将各液压缸伸缩量控制指令发送给掘进机器人机载控制器和虚拟现实远程监控平台中的虚拟掘进机器人，实现掘进机器人的自动控制。机载控制器采集掘进机器人位姿和工况状态数据，对数据进行处理后通过通信总线发给虚拟现实远程监控平台，利用数据库对各类传感器和捷联惯导系统[5]数据进行归档整理、存储。虚拟现实远程监控平台实时读取并处理数据库中存储的掘进机器人位姿工况数据，以此修正井下掘进机器人的位姿，显示掘进机器人的真实运行状态，为掘进机器人远程监控提供决策依据。

2 掘进机器人改进设计

为了适应自动化掘进控制，对传统的掘进机器人结构进行改进，并安装了掘进机器人定位、位姿和工况检测方面的传感器。

现有掘进机器人行走装置由2台液压电动机驱动，通过减速机、驱动链轮及履带实现行走，但这种结构使得掘进机器人左右转向困难。本文参考全向轮机器人[6]结构设计，将全方位移动机构引入掘进机器人行走装置，改善掘进机器人的左右转向能力。

掘进机器人机身传感器包括位姿检测传感器和工况状态检测传感器。位姿检测传感器包括超声测距传感器、油缸行程传感器、绝对编码器、捷联惯导系统。工况状态检测传感器包括压力传感器、流量传感器、温度传感器。其中，超声测距传感器安装在机身四周，用于测量掘进机器人与巷道前后左右的距离；捷联惯导系统安装在掘进机器人机身，用于测量机身X，Y，Z轴方向的角速度和加速度。

3 掘进机器人虚拟现实远程监控平台设计

基于Quest 3D 虚拟现实软件开发的掘进机器人虚拟现实远程监控平台主要包括掘进机器人三维模型、虚拟掘进机器人与综掘场景、掘进机器人动作程序、数据存储与动态修正、人机交互界面、综掘场景漫游，如图2所示。

图2 掘进机器人虚拟现实远程监控平台

3.1 掘进机器人三维模型

掘进机器人三维模型用于在虚拟现实环境中构建虚拟掘进机器人作为虚拟现实环境的控制对象，为展现真实掘进机器人的位姿状态提供基础。系统为兼顾模型数量、系统完整性和模型渲染速度，对掘进机器人的组成进行了简化，简化后掘进机器人的结构可完全真实反映井下掘进机器人的动作。Quest 3D 虚拟现实软件可支持SolidWorks,3DS MAX,MAYA等主流建模软件。本文采用SolidWorks建模软件，以真实的掘进机器人尺寸建立模型，保存为.stl格式文件，再将其以快速焊接的方式导入3DS MAX软件中进行渲染、贴图及坐标轴调整，完成后导出为.X格式文件。

3.2 虚拟掘进机器人与综掘场景

虚拟掘进机器人与综掘场景以真实展现井下真实综掘环境为目的，可提高操作人员对井下真实情况的认知程度。将掘进机器人与综掘场景的.X格式文件分别导入Quest 3D软件中。在3D Render模块的第1个通道下添加相机，用于观察综掘工作面。在掘进机器人摇臂和后支撑处添加灯光，用于在掘进过程中照明。在Channel Graph模式下将掘进机器人各部件之间绑定父子关系，以保证掘进机器人的整体动作与各部件动作互不影响。在Animation模式下，按照真实掘进机器人的装配关系和综掘场景布置，对掘进机器人各部件和场景模型的位置姿态进行调整，完成掘进机器人与综掘场景的耦合。

3.3 掘进机器人动作程序

掘进机器人动作程序是根据真实掘进机器人的动作和控制方式，使用Quest 3D软件编写相应控制程序，使掘进机器人在虚拟操控平台的控制下完成各项掘进动作，这是虚拟掘进机器人动作的核心。在Quest 3D软件中，每个部件均对应一个3D Object模块，每个3D Object模块下均有Motion模块，该模块可实现部件的移动、旋转、缩放功能。利用左侧Templates窗口中Logic下的If,Trigger,User Input等逻辑命令模块完成掘进机器人控制逻辑编程。3.4 数据存储与动态修正

数据存储与动态修正是利用Quest 3D软件和数据库进行传感器数据的大量存储和读取，凭借传感器数据实现掘进机器人位姿的自动调整。虚拟操控平台上的按键信息通过虚拟现实接口存入数据库中指定表格的相应位置。机载控制器采集的掘进机器人机身工况位姿传感器数据通过通信总线存入Array数组中，再存入数据库。Quest 3D软件程序对数据库中的位姿工况数据进行判断，得出掘进机器人的预期位姿工况数据与实际掘进机器人位姿工况数据的差值，并将该差值进行显示和存储。系统自动发送相应控制指令对掘进机器人的位姿进行调整，实现掘进机器人位姿自动调整。

3.5 人机交互界面

人机交互界面用于显示掘进机器人工况参数、工作状态和故障报警，为远程操作人员提供数据参考。人机交互界面如图3所示。工况参数显示通过显示窗口显示截割头转数、耙爪转数、截割高度等参数值。工作状态显示通过Quest 3D软件中GUI模块实现，可通过ChannelSwitch来切换不同方位的相机,实现综掘工作面不同角度的观察，还可通过界面上的Button显示掘进机器人摇臂等的工作状态。故障报警是当工况参数超过警戒值时发出报警声，使掘进机器人停止作业。

图3 虚拟现实远程监控平台人机交互界面

3.6 综掘场景漫游

综掘场景漫游是在场景中添加行走相机，使用虚拟操控平台控制行走相机，使得操作人员可以第一视角观察综掘工作面情况。具体实现时，使用Walkthrough Camera实现综掘场景漫游。先将巷道模型的快捷方式添加到Walkthrough Camera模块的CollisionObject下，为行走相机指定碰撞物体，使行走相机不会穿出巷道。然后设置行走相机的初始位置。在Animation模式与Camera View视角下，通过虚拟操控平台可控制行走相机前后左右行走，便于操作人员进行巡检。

4 掘进机器人控制模型建立

为了达到掘进机器人按照预先设定的轨迹自动掘进的目的，设计了掘进机器人控制流程，如图4所示。首先根据巷道成型要求设计截割工艺路线，确定截割轨迹。然后根据截割点的位置和掘进机器人的位姿，通过建立截割头控制量解算模型得出掘进机器人控制量，利用得到的控制量对掘进机器人进行截割控制。最后利用掘进机器人机身传感器检测掘进机器人运动后的位姿信息，经截割头位姿解算确定截割轨迹并进行显示，以验证截割轨迹是否正确。

图4 掘进机器人控制流程

4.1 坐标系统定义

由于综掘工作面采用相对定位法，需要定义6个坐标系，即掘进机器人机体坐标系OsXsYsZs、巷道断面坐标系OdXdYdZd、巷道坐标系OxXxYxZx,摇臂坐标系OyXyYyZy,截割头坐标系OjXjYjZj、回转台坐标系OhXhYhZh，如图5所示。

图5 掘进机器人及各连杆坐标系统

4.2 掘进机器人运动学分析与建模

掘进机器人运动学包括截割头运动学和机体运动学。截割头运动学描述截割头相对于掘进机器人机体的位姿关系，是截割断面控制与监测的依据。机体运动学描述掘进机器人机体相对于作业巷道的位姿关系，是掘进机器人定位和巷道成型控制的依据。

4.2.1 截割头运动学

截割头运动学分为截割头实际位姿解算和截割头控制量解算。

(1) 截割头实际位姿解算是将各连杆的关节变量转换到截割头的位姿坐标，以表示掘进机器人的截割头相对掘进机器人机体的位置和姿态。

经计算，得截割头相对于机体坐标系OsXsYsZs的齐次变换矩阵为

(1)

截割头中心点Oj相对于掘进机器人机体坐标系的坐标为

(2)

式中：d1为X方向截割头中心点Oj与摇臂中心点Oy间的距离；d2为X方向摇臂中心点Oy与回转台中心点Oh间的距离；d3为X方向回转台中心点Oh与机体中心点Os间的距离；h1为Z方向截割头中心点Oj与摇臂中心点Oy间的距离；h2为Z方向回转台中心点Oh与机体中心点Os间的距离；θ1为回转台坐标系OhXhYhZh绕机体坐标系OsXsYsZs中Z轴的旋转角；θ2为摇臂坐标系OyXyYyZy绕回转台坐标系OhXhYhZh中Z轴的旋转角。

若已知各连杆的结构参数d1，d2，d3，h1，h2和旋转角θ1，θ2，即可得到截割头中心点Oj在机体坐标系中的位置。再通过机体坐标系与巷道坐标系的转换，即可求出截割头中心点在巷道坐标系的位置。在截割头完成断面截割后，即可确定截割断面在巷道中的位置，并进一步确认巷道中心线的方向。

(2) 截割头控制量解算是已知截割头的目标点坐标，求解各连杆的关节变量，是掘进机器人路径规划与截割断面成型控制的基础。本文采用机器人学[7-8]知识进行求解，可将式(1)写为

(3)

令式(1)第1行第2列的元素与式(3)第1行第2列的元素对应相等、式(1)第2行第2列的元素与式(3)第2行第2列的元素对应相等， 可得

(4)

式(4)中，sx，sy，nz，az均为已知量，因此可根据截割头的位姿数据得出关节变量θ1，θ2。

4.2.2 机体运动学

掘进机器人姿态以横滚角α(机体绕Xs轴的旋转角度)、仰俯角β(机体绕Ys轴的旋转角度)和偏转角γ(机体绕Zs轴的旋转角度)来表示。为了使掘进机器人按照预先设定的轨迹自动掘进，可通过坐标变换矩阵计算出掘进机器人机体相对于巷道坐标系的位姿关系。

机体坐标系sT相对于巷道坐标系cT可表示为

(5)

机身传感器安装在机体上的位置是已知的，则cT为已知量，传感器测得的掘进机器人机体相对于测量坐标系的位置记为(dx,dy,dz)，掘进机器人机体绕测量坐标系3个轴的相对姿态角为(α，β，γ)。掘进机器人机体相对测量坐标系的齐次变换矩阵为

(6)

将式(6)代入式(5)即可得到掘进机器人机体运动学方程。根据掘进机器人机身传感器测得的数据，结合掘进机器人运动学，可得出掘进机器人在巷道中的位置和姿态。

5 系统实验

为了验证煤矿掘进机器人虚拟仿真与远程控制系统的各项功能及各个模块的有效性，在实验室环境下，搭建了掘进机器人试验平台及虚拟现实远程监控平台，如图6所示，进行联合调试并运行。

实验结果显示，虚拟现实远程监控平台对掘进机器人的动作控制方便快捷；通过控制模型对掘进机器人进行截割控制，虚拟掘进机器人位置与掘进机器人在实验室实际位置基本一致；虚拟现实远程监控平台对掘进机器人传感器数据的接收快捷、处理快速、显示准确。

1-虚拟现实远程监控平台；2-机载控制器存放柜；3-掘进机器人模型

6 结语

针对当前煤矿采掘远程控制和智能化方面的需求，介绍了一种煤矿掘进机器人虚拟仿真与远程控制系统。在对掘进机器人和巷道环境分析的基础上，建立了掘进机器人虚拟控制模型、运动控制模型、虚拟现实远程监控平台、虚拟操控平台，并对基于虚拟现实技术的掘进机器人远程监控平台的功能进行了详细介绍。煤矿掘进机器人虚拟仿真与远程控制系统能够实时显示掘进机器人的工作位姿状态和工作参数，根据机身传感器数据下达动作命令，实现掘进机器人自动掘进功能，提高了掘进机器人在巷道中的定位和自动掘进能力，促进了综掘工作面智能化发展。

[1] 王学成,张维果,刘英林.悬臂式掘进机现状及发展浅析[J].煤矿机械,2010,31(8):1-3.

[2] 田劼,王红尧,吴淼.掘进自动截割成形控制系统动态特性分析[J].工矿自动化,2015,41(6):40-44.

[3] 丁震.我国煤巷掘进装备现状及发展趋势[J].工矿自动化,2014,40(4):23-27.

[4] 张旭辉,马宏伟,王天龙，等.一种掘进机远程控制系统及方法：CN103867205A[P].2014-06-18.

[5] 杨海,李威,罗成名，等.基于捷联惯导的采煤机定位定姿技术实验研究[J].煤炭学报,2014,39(12):2550-2556.

[6] 李文学,饶运清,戚得众，等.全向轮机器人路径规划与导航系统设计[J].机械设计与制造,2014(12):18-22.

[7] 蔡自兴.机器人学[M].北京：清华大学出版社，2009.

[8] 陈鹏,刘璐,余飞,等.一种仿人机械臂的运动学逆解的几何求解方法[J].机器人,2012,34(2):211-216.

Virtual simulation and remote control system for coal mine roadheader robot

ZHANG Xuhui1,2, CHEN Li1, MA Hongwei1, MAO Qinghua1, DU Yuyang1, ZHAO Youjun2

(1.School of Mechanical Engineering, Xi'an University of Science and Technology, Xi'an 710054, China;2.Xi'an Coal Mining Machinery Co., Ltd., Xi'an 710032, China)

For problems that existing roadheader monitoring methods of video monitoring and telemetering had unclear monitoring images and cannot show pose and working conditions of roadheader, a virtual simulation and remote control system for coal mine roadheader robot was proposed. Design scheme of the system was introduced, and key technologies were researched including improvement of roadheader robot, remote control platform based on virtual reality and control model of roadheader robot. The system integrates underground miners, roadheader robot and underground environment information by use of virtual reality technology, and realizes functions of motion control of excavation process and mine roadway excavation control, which takes automatic tunneling of roadheader and remote intervention by human. The experimental result shows validity and good control performance of the system.

coal mining; mechanized excavation face; roadheader robot; automatic tunneling; roadway excavation control; virtual reality

2016-08-17；

2016-10-20；责任编辑：李明。

中国博士后科学基金面上资助项目(2015M582692);陕西省工业化信息化深度融合重点示范项目(2015KTCXSF-10-3);西安市产学研协同创新计划资助项目(CXY1519-4)。

张旭辉(1972-)，男，陕西凤翔人，教授，博士，研究方向为智能检测与控制、工业机器人，E-mail：zhangxh@xust.edu.cn。

1671-251X(2016)12-0078-06

10.13272/j.issn.1671-251x.2016.12.017

TD633.2

A

时间：2016-12-01 10:54

http://www.cnki.net/kcms/detail/32.1627.TP.20161201.1054.017.html

张旭辉，陈利，马宏伟，等.煤矿掘进机器人虚拟仿真与远程控制系统[J].工矿自动化，2016,42(12)：78-83.