基于多传感器信息融合的步态识别方法研究

周洁

（西南交通大学电气工程学院，成都 262500）

基于多传感器信息融合的步态识别方法研究

周洁

（西南交通大学电气工程学院，成都 262500）

准确的步态相位识别是下肢外骨骼机器人运动意图判断与控制策略制定的前提与基础。通过人体下肢运动信息检测系统，获取下肢各关节运动角度及足底分布式压力，在运动学步态分析的基础上，提取信号有效特征。针对正常步行运动中各步态存在次序及界限不精确的特性，提出加入模糊逻辑概念的有限状态机方法，对下肢传感器系统提供的运动信号进行多传感器信息融合，实现步态识别。实验结果证明该方法在2.4km/h、3.6km/h、4.8km/h和6.0km/h四种速率的步行模式下都可以进行有效的步态识别，具有极高的准确率。

步态识别；关节运动角度；足底压力；模糊逻辑；有限状态机；传感器融合

0 引言

下肢可穿戴外骨骼机器人已经在过去的几十年迅速发展，并且已经证明了能够很好地协助人类在各种军事、医疗和工业等领域中的工作。现有的外骨骼机器人研究领域面临众多关于硬件和软件方面的挑战，其中一个主要的挑战就是，机器人通常缺乏充分的能力识别到人类佩戴者的行为和意图。因此，为了克服这些挑战，工程师们使用了多种传感器获取穿戴者的运动信息，并通过多种推理方法获得穿戴者的步行状态与运动意图，帮助外骨骼制定有效的控制策略[1]。其中比较有代表性的是以下几种方式：脑机接口（BMI）、肌电信号（EMG）、以惯性测量单元及压敏传感器为代表的机械传感器。其中通过脑机接口得到的脑电图（EEG）、脑皮层电图（ECoG）及皮层电极[2]是近年来作为人体运动意图研究依据，它的优势是可以允许瘫痪病人可以控制机器人跟随大脑想法运动[3]，该方法主要运用在康复机器人领域，但是具有无法分辨人脑无意识运动的特点。肌电信号主要测量的是肌肉细胞在肌肉活动之前100ms产生的电信号[4]，HAL助力行走机器人就是主要通过采集肌电信号识别人体运动意图[5]，该方法具有提前预测性，但易受人体表面出汗等因素的影响。运用机械传感器主要放置在人体表面或装置与外骨骼机械上，该方法简单易实现干扰性小的优点。BLEEX下肢助力外骨骼机器人的传感器系统主要由力传感器和倾角传感器测量机器人关节力和肢体倾角，足底压力传感器测量步行时足底压力分布，陀螺仪用来测量上身的中心和倾角[6]，并将人体步态划分为单腿支撑、双腿支撑以及冗余双腿支撑三个状态[7]。Savelbeg[8]使用人工神经网络对足底压力及地面反射压力进行建模，对步态相位进行预测；Ion P.I.Pappas[9]等人分别运用有限状态控制方法将安装在踝关节的陀螺仪与足底压力信号融合，并分为脚跟触地、支撑、足跟离地、摆动四个步态相位进行识别；Milica Djuric[10]采用阈值的方法处理大腿、小腿、脚面的角度传感器与足底的两点压力传感器，并分成8个步态相位进行识别；高增桂、孙守迁[11]等人则采用基因表达式方法建立膝关节的运动状态识别模型。

本文针对步行状态是一系列有次序的运动及步态相位划分界限不完全精确的特性，步行状态具有次序，提出了加入模糊逻辑概念的有限状态机方法对下肢下肢各关节运动角度信号及足底分布式压力信号进行融合步态识别。

1 步态及信号分析

步行是具有周期性的动作，一侧足跟着地开始到该足跟再次着地构成1个单腿步态周期。根据腿部动作的特征，可以将步态分为支撑相和摆动相。支撑相是指从足跟着地到足尖离地的时间，该段时间足底与地面接触并承受身体的重量，该阶段约占步态周期的60%，摆动相则是从足尖离地到下一次足跟着地的时间，约占步态周期的40%。但是下肢步态不能只分成这两个相位，因划分的相位数太少，则利用及传递的信息太少，控制策略的制定与实现将更有难度，也会影响整个系统的控制效果。故本文采用J.Rose[12]基于运动学原理提出的根据标志性事件将步态进行详细划分，这几个标志性事件为：足跟着地、足平放、足跟离地、足前支撑、足尖离地、足尖近地（摆动中期开始）、胫骨垂直（减速摆动开始），如图1所示。每个标志性事件到下一事件中间的状态定义为一个步态相位，分别用GP1~ GP7表示。从一个步态周期开始到标志性步态所占整个步态周期的时间可以作为验证步态识别方法的评判标准。

图1 步态相位划分

人体下肢运动信息复杂多变，传感器系统是实现人机信息交互，实时控制的硬件基础。本文的传感器系统由人体运动角度感知系统，足底压力感知系统组成。其中人体运动角度感知系统是安装在人体下肢各个肢体上，足底压力测量单元则安装在外置的鞋内，两套系统的采样频率皆为120Hz。

（1）人体运动角度感知系统

人体各肢体运动角度是人体在运动过程中最主要的特征之一。人体运动角度感知系统是在每条腿上分别安装3个姿态传感器，位置分别在人体正表面的大腿，小腿中部位置以及脚面正中位置，测量人体行走过程中，髋关节、膝关节、踝关节的运动角度。传感器主要采用惯性测量单元（传感器如图2（a）所示）进行信息采集，各导向角输出是通过其自带的卡尔曼滤波器利用陀螺仪、加速度计、磁力计等数据计算出的没有漂移的高精度的统计最优的三维方向估计。下肢各关节角度的符号约定如下图2（b）所示，每个关节的测量角度是以垂直方向到各肢体即逆时针方向为正角度。

（2）足底压力感知系统

足底压力信号能够很好地反应人体在正常行走过程中尤其是下肢支撑状态下的运动特点。本文足底压力感知系统采用的是分布式压力测量方法（实物如图3（a）所示），分别在两只外骨骼足底的大拇指、前掌左侧、前掌右侧、足跟4个位置上（如图3（b）所示）安装压力传感器，经过大量实验验证，这4个压力采集点所在的区域压力信息特征较为明显，且重复性与稳定性较好。

图2 惯性测量单元安装示意图及角度定义

图3 足底传感器实物图及示意图

由传感器得到的信号采用平滑滤波法去除噪声进行滤波，其中由于脚面的惯性传感单元安置问题，会对踝关节角度进行修正，减去脚面初始角度。通过数据点采样率的压缩与增加，本文将同一对象在2.4km/h、3.6km/h、4.8km/h、6.0km/h速率下的各关节运动角度进行对比，如图4所示，随着速率的增加，各步态数据的幅值及峰值会有所变化，但同一步态数据的形状、上升下降起始点结束点等都十分接近，运动角度及压力数据随时间变化的规律基本一致，只存在因步态运动不完全稳定所产生的微小差异。右腿各个关节的运动角度对应各个步态具有明显的特征，如在足跟触地时，髋关节、膝关节、踝关节角度都接近于正向最大；足平放阶段踝关节角度近似为零；足尖离地时膝关节、踝关节信号接近逆向最大等。在不同的步态时，各关节运动角度特征具有有强弱之分。

由足底压力传感器得到的得到的分布式压力信号如图5所示，足底各点压力分别用fA、fB、fC、fD表示。足底各点压力数值会随速率变化峰值明显变化，但是随时间变化规律基本不变。可以从图中看出在支撑相，足底出现了明显的信号波动，脚跟、前掌右侧、前掌左侧、大拇指依次出现信号，而在摆动相时信号没有明显变化，其中前掌左侧与右侧的信号起始点，结束点以及出现峰值的阶段基本重合，可作为互补。

2 步态识别算法研究

图4 不同速率下各关节运动角度

图5 足底压力信号

在正常步行运动状态下，人体的下肢运动是一个在时间轴上连续的有次序的运动构成的动作序列，只要确定当前步行状态，则下一个步态也是基本确定的，只需识别每个状态的转移变化过程即可实现动作的判别。因此，本文提出应用有限状态机（Finite State Ma-chine，FSM）方法进行初步的步态识别。FSM是表示有限多个状态以及在这些状态之间转移和动作的数学模型。步态识别FSM可以表示成如下的5元函数组：

其中，Q表示状态的非空有穷集合{q0，q1，q2，...，qn，f0，f1}，该状态集中主要包含初始状态GF、识别无效的错误状态GF以及标志性步态GP1~GP7；Σ表示输入字母表，包含了各关节运动角度及足底各点压力；δ表示状态转移函数，δ：Q×Σ→Q，表示当前状态转换到后继状态的条件函数；q0表示Q的开始状态，也可叫作初始状态或启动状态；F={f0，f1}表示M的终止状态集合，分别表示识别成功及识别无效的状态。

根据传感器信息分析各步态所具有的的标志性特征作为步态间转换的条件，满足转移条件即发生状态转移，由此得到步态识别的状态转移表与条件转移图，分别如表1与图6所示各传感器状态表述为正向最大PL，正向减小PD，负向增大PI，负向最大NL，负向减小ND，正向增大PI以及接近于0的CZ其中步态识别FSM中的初始状态是在不确定当前步态时的状态，需要对每一个条件满足的程度进行计算，得到当前步态。在非初始状态时则可以只计算转移到下一步态的条件是否满足即可。

表1 步态识别状态转移表

图6 条件转移图

人体在行走过程中可能突然转变步态，再由新的步态重新开始步态序列。因此为了防止可能由步态瞬间转换或本身系统产生的步态误判、遗漏，设置错误状态，将错误状态装换条件设置为一个步态持续到1/5个步态周期仍未转移到下个步态，则判定为识别无效，转移到初始状态对所有条件进行计算。在步态识别过程中不断更新最新的步态周期。

当步态识别系统处于初始状态时，必须对每个转移条件的强度进行计算，然后那个具有最高激活水平的状态获胜，成为新的当前状态。根据状态转移表中各传感器的特征具有一定的不明确界限的特点，在计算条件强度是加入模糊逻辑的概念。

具体策略为：（1）将传感器数据进行模糊化处理，计算各传感器对不同状态的隶属度，输出最大隶属度的状态，实现传感器不同状态的量化；（2）在特征层根据各传感器状态对各条件的隶属度，分别通过模糊推理计算出角度传感器与足底压力传感器对应每个转移条件的强度；（3）根据不同类型传感器对不同条件的强弱属性进行加权融合，筛选出具有最高强度的激活条件，实现状态的转移。而当步态识别系统处于标志性步态的状态下时，因为人体的步态是连续依次变化的，故只需要计算转移到下个步态的条件是否满足阈值，即可完成状态的转移。

在融合过程中采用的模糊推理规则为：

其中Ai，Bj，…为不同输入模糊化后得到的不同状态，Rp为解模糊化后输出的不同状态。

在确定传感器状态中运用的模糊计算方法为：

其中，μAi，μBj为传感器信息的数值及变化率对不同状态的隶属度采用乘运算得到传感器采用乘运算得到传感器对应状态的隶属度μRP。

在确定两种类型传感器对应各转移条件的强度的模糊计算方法为：

该计算中，μAi，μBj…为各传感器状态对不同转移条件的隶属度滋RP，采用加权运算得到各角度传感器与各足底压力传感器融合后的对不同转移条件的隶属度。最后针对支撑状态与摆动状态，主要倚靠传感器类型不同，将两者得出的条件隶属度再一次加权融合，得到最后各条件的强度。各模糊推理过程的解模糊方法均采用的是最大隶属度输出的方法。根据以上融合推理过程，最终得到行走过程中不同步态的连续有效的识别。

3 实验结果与分析

为了验证本文提出的步态识别方法，本文采用步态传感器系统针对身高1.75m,体重65kg的男性进行步态实验，分别采集2.4km/h、3.6km/h、4.8km/h、6.0km/h四种速率。并采用MATLAB程序进行编程，完成数据的处理及步态识别。图7所示各速率下的识别结果，各图中出现的短暂的信号异常是错误状态设置起了作用，即GE状态。

本文采用步态相位定义中的各步态占比对识别到的结果进行验证。步态相位定义中，GP1相位占整个步态周期的12%，GP2-GP3占38%，GP4占12%，GP5-GP7占38%。本文每个速度下采用50个步态周期进行步态识别验证，并且对每个周期开始点进行校正，得到各速率状态下的准确率如表2所示。从表中可以看出每种速率下步态识别的正确率可以达到95%左右，其中GP1的正确率随着速率的增加而减少，其原因可能是速率越快该阶段对地面冲力越大，该阶段占步态周期相应缩短；在GP4阶段正确率相对较低，该阶段时间较短且定义较模糊，对该阶段的识别提出了一定的难度。

图7 不同速率状态下的步态识别结果

表2 不同速率状态下步态识别准确率（单位：%）

4 结语

本文针对步行状态是一系列有次序的运动及步态相位划分界限不完全精确的特性，提出了加入模糊逻辑概念的有限状态机方法对下肢下肢各关节运动角度信号及足底分布式压力信号进行融合步态识别。本文通过大量的实验样本作为数据支撑，验证了该方法分别在四个速率下步行的步行模式下都具有极高的准确率，能够快速有效地应对步行过程中速度变换下的步态识别。

本文的不足及待深入研究的方向：（1）提出的方法在前足支撑阶段的识别率相对较低，需要对特征和规则进行优化。（2）传感器系统提供的信息较多，在下一步工作中，可以考虑识别更多的步态信息，或是在减少部分传感器的基础上同时仍能正确识别出正确的步态相位。（3）增加更多的识别动作，如跑步、上下楼梯、下蹲等。

[1]StrausserK A，Kazerooni H.The Development and Testing of a Human Machine Interface for a Mobile Medical Exoskeleton[C].2011 IEEE International Conference on Intelligent Robots and Systems.San Francisco，CA，USA:2011.

[2]Domen Novak，Robert Riener.A Survey of Sensor Fusion Methods in Wearable Robotics[J].Robotics and Autonomous Systems，November 2015，Vol.73:155-170.

[3]J.L.Collinger，B.Wodlinger，J.E.Downey，etc.High-performance Neuroprosthetic Control by an Individual with Tetraplegia[J].The Lancet，2013，Vol.381:557-564.

[4]C.Fleischer，G.Hommel.A Human-exoskeleton Interface Utilizing Electromyography[J].IEEE Transactions on Robot，2008，Vol.24（4）:872-882.

[5]Hiroaki Kawainoto，Siiwoong Lee，Shigehiro Kanbe，etc.Power Assist Method for HAL-3 using EMG-based Feedback Controller[C]// IEEE International Conference on Systems，Man and Cybernetics.Washington，USA:2003.

[6]Andrew Chu，H.Kazerooni，Adam Zoss.On the Biomimetic Design of the Berkeley Lower Extremity Exoskeleton（BLEEX）[C]//IEEE International Conference on Robotics and Automation.Barcelona，Spain:2005.

[7]Lihua Huang，John Ryan Steger，H.Kazerooni.Hybrid Control of the Berkeley Lower Extremity Exoskeleton（BLEEX）[C]//2005 ASME International Mechanical Engineering Congress and Exposition.Orlando，Florida USA:2005.

[8]Savelberga H，A.L.H.de Langec，Assessment of the Horizontal，Fore-aft Component of the Ground Reaction Force from Insole Pressure Patterns by Using Artificial Neural Networks[J].Clinical Biomechanics，1999，Vol.14（8）:585-592.

[9]I.P.I.Pappas，T.Keller，S.Mangold，etc.A Reliable Gyroscope-Based Gait-Phase Detection Sensor Embedded in a Shoe Insole[J]. IEEE Sensors Journal，2004，vol.4（2）:268-274.

[10]Milica Djuric.Automatic Recognition of Gait Phases from Accelerations of Leg Segments[C].9th Symposium on Neural Network Applications in Electrical Engineering Belgrade，Serbia:2008.

[11]高增桂，孙守迁，张克俊等.面向外骨骼机器人人机交互的步态数据获取系统及识别模型[J].计算机科学，2014，41（10）：42-49.

[12]J.Rose，J.G.Gamble.Human Walking[M].2nd ed.Baltimore:Williams&Wilkins，1994.

Research on Gait Recognition Based on Multi-Sensor Fusion

ZHOU Jie

（College of Electrical Engineering，Southwest Jiaotong University，Chengdu 262500）

Accurate gait phase recognition is the premise and foundation for lower extremity exoskeleton robot motion intention judging and control strategy formulating.Through the human lower limb motion information detection system,gets the lower limb joint motion angle and plan-tar distributed pressure,and extracts effective signal features based on the analysis of kinematic gait.According to the characteristics of gait's inaccurate order and limit by normal walking,puts forward a finite state machine method combined of fuzzy logic to realize gait recognition,which fusing multi-sensor information for the motion signals provided by the lower limb sensor system.Experimental results proved this algorithm can achieve effective and accurate gait recognition on the four walking rates of 2.4km/h,3.6km/h,4.8km/h and 6.0km/h.

Gait Recognition；Joint Movement Angle;Fuzzy Logic;Finite State Machine;Sensor Fusion

1007-1423（2016）08-0040-06

10.3969/j.issn.1007-1423.2016.08.008

2015-03-01

2016-03-10

周洁（1990～），女，江苏省南京人，硕士研究生，研究方向为下肢外骨骼机器人、数据分析与识别