面向水下机器人的多模态人机交互控制

张学志，谷亚伦，林 高，张道辉

（1.沈阳化工大学 信息工程学院，沈阳 110142；2.中国科学院 沈阳自动化研究所 机器人学国家重点实验室，沈阳 110016；3.中国科学院 机器人与智能制造创新研究院，沈阳 110169）

地球的海洋面积在地球表面上大约占有71%，蕴藏着非常宝贵的资源，经济开发和科研探索潜力巨大[1]。然而海洋环境具有危险性及复杂性，想要单纯地依靠人工进行海洋开发和海洋调查是不现实的，水下机器人成为了完成人类深海作业的最佳选择[2]。受限于当前机器人智能水平，相当长一段时间内，研发出完全自主的机器人仍是遥不可及的目标，因此遥控水下机器人（remote operated vehicle，ROV）将在深海环境作业中发挥越来越重要的作用[3]。

人机交互控制技术是决定ROV 能否完成水下作业任务的关键因素，然而现有的水下机器人控制方式一般需要多人协同操作共同完成，不仅消耗操作者很大的精力且效率不高。文献[4]设计了基于脑肌电信号的机械臂控制，通过6 种手势动作和左右手运动想象产生的原始肌电、脑电信号实现对机械臂的运动控制；文献[5]设计了一种基于肌电信号控制的上肢假肢系统，通过6 种手势动作实现对假肢手臂各关节的控制；文献[6]在复杂仿人机器人远程操作系统中应用了上肢外骨骼装置，此装置可跟踪操作人员运动并传递信息，实现运动测量并具有力反馈作用；美国德克萨斯大学Reneu Robotics Lab实验室[7]开发的Harmony 双臂机械外骨骼通过对人体上肢的运动机理分析和肩部机构解剖，能够为所有关节提供无约束的活动特性，该外骨骼设备在支撑人体上半身的重量的同时还能够为穿戴者提供辅助力量，使其达到预期的运动；文献[8]设计了基于Myo 臂环和Kinect 体感设备的多模态人机交互技术，通过检测右臂的位置和姿态信息以及手势动作产生的肌电信号实现机械臂的抓取控制，实现了较为自然的人机交互控制效果。目前基于人体生理信息的交互控制研究主要集中于人机交互过程中的自然交互控制方面，但只能完成一些简单的运动控制，无法适应复杂的水下操作任务。

本文针对以上问题，提出了一种多模态融合的人机交互控制方案，以具有10 自由度的双臂水下机器人为研究对象，通过外骨骼和Myo 手环检测操作者运动意图。采用网络将控制指令发送到水下机器人端口，通过操作者上肢的自然运动实现了对水下机器人的18 种控制指令的映射。最终进行多模态人机交互控制测试，验证了多模人机互控制方式的有效性和可行性。

1 系统组成

系统主要采用外骨骼设备和Myo 手环获取操作者控制意图，利用可穿戴外骨骼检测操作者手臂各关节的运动角度，实现对机械臂的运动控制；利用Myo 手环检测操作者手部动作时的肌电信号，实现对ROV 的运动控制以及机械臂末端夹爪的张合控制。为实现控制效果的可视化，搭建了水下机器人仿真环境，系统框图如图1 所示。

图1 系统框图Fig.1 System block diagram

可穿戴外骨骼机器人可以真实的还原人体动作，直观地表达操作者意图。外骨骼机器人需要与人体相结合，实现检测人体运动状态，跟随穿戴者运动并提供辅助[9]。该系统使用的上肢可穿戴外骨骼主要是由14 个角度传感器构成的双臂和末端手柄组成，单侧手臂的7 个传感器分别对应人体手臂的7 自由度运动，末端手柄由5 个按钮和1 个方向按键组成，如图2 所示。

图2 上肢可穿戴外骨骼Fig.2 Wearable exoskeleton for upper limb

Myo 手环佩戴于操作者前臂上，检测操作者前臂肌肉的表面肌电信号的变化，实现判断操作者手部动作的目的。Myo 手环由8 个通道组成，不同的肌肉群触发的肌电信号识别到不同的通道中，如图3所示。为实现控制效果的可视化，搭建了水下虚拟仿真环境，设计了10 自由度的双臂水下机器人为控制对象。

图3 Myo 手环Fig.3 Myo bracelet

2 多模态融合的人机交互控制

2.1 肢体动作的控制意图识别

肢体动作的运动意图检测是通过对外骨骼检测的手臂关节角度值进行分析处理，从而得到操作者手臂的关节运动状态，肢体动作的意图检测流程如图4 所示。

图4 肢体动作的意图检测流程Fig.4 Intention detection of body movements

当外骨骼打开电源后，会持续向外发送传感器检测到的各关节角度数据，采用UDP 通信的方式接收外骨骼端口发送的数据，并去除传感器的偏移量等干扰，最终获取操作者手臂各关节运动的实际角度。为了降低手臂运动时各关节间的联动性影响，采用外骨骼末端手柄上的按钮控制手臂各关节的数据读取。经过多次调试，确定各关节运动时传感器检测的数值区间范围，并对其进行合理划分，从而确定相应的肢体动作指令。

2.2 肌电信号的控制意图识别

通过检测操作者前臂肌肉的表面肌电信号变化，从而识别出操作者的手部动作。操作者佩戴Myo手环后，根据提示完成相应动作，采集操作者手部动作时的肌电信号。首先对肌电数据进行去偏置/噪声的预处理；对处理后的肌电信号进行特征的提取；利用提取的特征样本训练肌电指令识别模型；最后将实时采集的肌电信号进行预处理和特征提取操作后，传入到训练好的指令识别模型中，即可识别出相应的手部动作。

首先对采集的肌电数据进行预处理操作并完成数据归一化。采用绝对均值（MAV）的方式完成对肌电时域特征的提取，选取一定长度的滑动窗完成对肌电数据的划分，通过计算每个滑动窗内肌电信号幅值的绝对均值，从而获取肌电信号的平均强度，计算过程如公式（1）所示：

利用线性判别分析（LDA）设计分类器，完成肌电特征的分类识别。肌电信号的控制意图识别如图5 所示。

图5 肌电信号控制意图识别Fig.5 Emg control intention recognition

2.3 基于肢体和肌电的人机交互控制

多模人机交互控制即通过肢体动作和肌电信号共同完成对水下机器人的运动控制。将肢体指令和肌电指令映射为水下机器人的控制指令，通过UDP 通信将控制指令发送到虚拟仿真界面，实现对水下机器人的运动控制，肢体和肌电的指令融合过程如图6 所示。基于肢体动作和肌电信号的动作指令，共实现了18 种水下机器人的控制指令，具体的指令映射关系如表1 所示。

表1 控制指令映射关系Tab.1 Control instruction mapping relationship

图6 肢体和肌电信号融合控制Fig.6 Limb and EMG fusion control

3 多模态人机交互控制测试

本文提出了一种多模态人机交互控制方式，使用上肢可穿戴外骨骼控制机械臂各关节的运动；使用Myo 手环控制机械臂末端夹爪的张合以及ROV 的移动。操作者穿戴外骨骼和Myo 手环后，执行相应的动作控制水下机器人的运动，测试控制指令的识别效果，具体的动作控制指令如图7 和图8所示。

图7 肢体动作控制指令Fig.7 Body movement control instructions

图8 肌电信号控制指令Fig.8 EMG control instructions

选取4 名操作者分别使用3 种控制方式完成对机器人的控制，每位操作者分别完成20 次肢体控制指令和肌电控制指令以及40 次肢体和肌电融合控制指令，统计正确识别指令的次数，具体实验结果如表2 所示。在手势动作识别的测试中，没有出现一种动作识别为另一种动作的情况，但在手部放松（不发布控制指令）状态下会存在误识别为某一动作指令的情况。在肢体动作和手势动作融合控制的实验中，当手臂进行动作时，会导致手部产生细微运动，从而获得额外的肌电指令。通过记录的正确识别指令的次数，统计指令识别的准确率，如图9 所示。

表2 指令测试实验结果Tab.2 Experimental results of instruction test

图9 三种控制方式下指令识别准确率Fig.9 Accuracy of instruction recognition under three control modes

实验结果表明，肢体控制、肌电控制以及肢体和肌电融合控制的指令识别准确率分别在100%、95%、93%左右。肌电控制与肢体和肌电融合控制的指令识别率相差不大，但多模融合的控制方式，可以大幅增加控制指令的数量，以适应更复杂的任务场景。

4 结语

本文提出了一种多模态人机交互控制方案，通过操作者手臂和手部的自然运动实现对水下机器人的运动控制。通过对手臂关节运动角度的检测和机器学习算法，完成了对肢体动作和肌电信号的控制意图识别，并将控制指令发送到水下机器人端口，实现了对水下机器人的多模人机交互控制效果。最后，通过多模态人机交互控制测试的实验，验证了多模人机交互控制方式完成水下作业任务的可行性和有效性。

进一步的工作可以从降低肢体动作和肌电信号的干扰方面进行改进，以提高多模态控制方式的指令识别准确率。相信未来的多模人机交互技术在遥操作、康复、助力等领域中定会得到广泛的应用。