基于Xception-LSTM的下肢运动能力评价方法

张燕，王铭玥，王婕，姜恺宁，张筠晗

1.河北工业大学人工智能与数据科学学院，天津市 300130；2.郑州大学国际学院，河南郑州市450001

我国老龄化问题日趋显著[1]。预计到2050 年，老年人口将超4 亿。大部分老年人会出现严重的运动障碍，步态特征发生明显变化[2-3]，通过评估下肢能力可为配备相应的助行设备提供参考。有必要对老年人下肢运动能力进行量化评估[4]。

目前，一般采用评价量表和步态指数对运动能力进行评估。大部分评价量表基于《国际功能、残疾和健康分类》标准演化而来，根据国情改进评估内容并进行等级划分[5-6]。如日本根据身体功能、精神行动障碍等方面评估老年人活动能力，美国的评估工具最小数据库(Minimum Data Set,MDS)和澳大利亚的养老护理评估表(Aged Care Funding Instrument,ACFI)等[7-9]。这些量表存在耗时长、主观性强等弊端，且准确性主要依靠医师的经验和水平。此外，一些研究提出采用步态指数来实现病理步态的定量分析，如吉莱特步态指数(Gillette Gait Index,GGI)、步态偏差指数(Gait Deviation Index,GDI)、步态外形分数(Gait Profile Score,GPS)、步态变异指数(Gait Variability Index,GVI)和分类定向步态评分(Classifier Oriented Gait Score,COGS)等[10-13]。这些步态指数能够准确评估运动能力，但由于采集过程和特征提取过程复杂，并不适合老年人下肢运动能力的评估。

本研究提出一种基于Xception、长短期记忆网络(long short-term memory,LSTM) 并联的Xception-LSTM 网络与核主成分分析(kernel principal component analysis,KPCA)相结合的下肢运动能力评估方法。在此基础上，建立融合步态图像特征、膝关节角度和地面反作用力(ground reaction force,GRF)的下肢运动能力评估指标步行能力评分(gait ability score,GAS)。

1 资料与方法

1.1 一般资料

2016 年8 月至2017 年3 月，选取学校和周边社区自愿参与本研究的中老年人和年轻健康人共40例。通过威斯康辛步态量表(Wisconsin Gait Scale,WGS)对受试者进行评估。WGS 是基于步行视频的用于评定步态异常的半主动评定方法，总分45分，分数越高，表明步态异常越严重。根据专业医师的评分建议，本研究将试验对象分为不具有任何运动障碍的20～39 岁的年轻健康人作为对照组，共20 例，WGS 评分14 分；40～59 岁的中年组共10 例，WGS 评分15～30 分；60～70 岁的老年组共10 例，WGS 评分31～45 分。中年组、老年组作为试验组。对所有受试者进行不借助任何仪器或协助的步态信息采集。

1.2 数据采集

采用Vicon MX三维步态采集设备(英国VICON公司)进行数据采集。将反光标记球固定在人体下肢的各个标记点处，通过视频捕捉设备记录受试者的运动状况，得到受试者在三维空间的运动信息；通过测力板采集脚底的压力信息。得到受试者行走时步态视频、膝关节角度和GRF。

1.3 评估模型的建立

采用ViBe 算法对步态视频进行预处理，提取步态轮廓图像。采用Xception-LSTM 网络提取步态轮廓图像特征，并与膝关节角度、GRF 串联成融合特征。最后经KPCA降维处理，生成GAS。

1.3.1Xception-LSTM网络特征提取

Xception-LSTM 网络结构是由在ImageNet 上预训练的Xception 和LSTM 并联结合。其中，Xception 包括14个卷积块(Block_1～Block_14)。见图1。

经网络训练，采用迁移学习，将在ImageNet数据库上预训练的模型参数作为Xception 的初始化参数。首先，Xception 网络的所有卷积块参数不动，仅训练LSTM 网络；然后训练整个Xception-LSTM 模型；再根据采集的步态图像数据集对网络参数进行微调，以提高模型准确率和泛化能力；最后，利用神经网络注意机制合并由Xception 和LSTM 产生的两个特征，得到全连接层特征FC，并与膝关节角度、GRF 数据经特征归一化后串联融合成融合特征。见图2。

1.3.2特征归一化

图1 Xception-LSTM网络结构

图2 Xception-LSTM特征提取与特征融合

对Xception-LSTM 提取的步态图像特征与膝关节角度、GRF 串联成的融合特征矩阵M=[m1,m2,...,mk]l×k归一化，l为特征融合后的维度，k为实验对象的人数，mi为第i个受试者的融合特征。计算每一名受试者的均值μi和方差σi，将M归一化为[0,1]范围内的MG，公式为：

1.3.3特征降维与GAS建立

在KPCA 中，通过定义阈值(E)和方差贡献度(VAF)，确定降维后的特征维度。利用降维后的特征[c1,c2,...,ck]r×k建立GAS。

任意受试者的融合特征cα与年轻健康组融合特征向量平均值偏差为：

计算原始的GAS：

对年轻健康组的均值与方差进行Z-Score标准化：

对所有受试者，可用下式进行定量评估：

GAS ≥100，运动能力正常；GAS越小，运动障碍越严重。

1.4 统计学分析

采用SPSS 19.0 软件进行统计学分析。组间GAS比较采用t检验，WGS 评分与GAS 进行Pearson 相关性分析。显著性水平α=0.05。

2 结果

中年组和老年组的GAS 均明显低于年轻健康组(P＜0.01)，且老年组明显低于中年组(P＜0.01)。见表1。GAS与WGS评分呈负相关(r=-0.91,P ＜0.01)。见图3。

表1 三组间GAS比较

图3 GAS与WGS的相关性分析

3 讨论

本研究利用视频信息和运动信息，实现人体运动能力客观评价，为康复训练方案的制定和辅助行走设备的控制奠定基础。

人体衰老后，多种因素相互作用，造成肌肉萎缩和身体功能下降。大部分运动功能评价方法在步态分析中只用到矢状面的下肢关节运动信息或部分关节在特定姿态下的运动信息，而人体步行过程涉及中枢命令和下肢各关节的协同运作，任何正常步态产生环节或各环节的相互联系出现问题都会引起异常步态[14-15]。老年人肌肉力量下降，身体控制能力减弱，平衡稳定性不足，行走时为避免跌倒损伤，足跟着地时会加倍小心。这种身体保护机制，导致足底压力分布发生变化[16-17]。随着年龄增长，膝关节和小腿的灵活性显著下降，膝关节活动范围变小，小腿离地摆动角速度下降，发生步态变化[18]。

卷积神经网络(convolutional neural network,CNN)在计算机视觉、图像识别和心电图分类等领域成效卓然，通过大量数据训练的CNN 能够提取具有代表性的数据特征[19-22]。与传统特征相比，高层的深度特征与低层特征结合能够得到更具表达能力的特征信息。文献[23]用CNN 自动提取乳腺图像特征并结合形态和纹理特征，建立一个乳腺肿瘤分类模型，准确性很高。LSTM 作为循环神经网络(recurrent neural network,RNN)的一种变体结构，能更好地挖掘序列时间信息[24-26]。文献[27]将CNN 和LSTM 结合用于手势识别，性能优于单独使用CNN 或LSTM。考虑到步态视频能够直观反映人体运动状态，且步态图像前后信息之间存在时序相关性，为能提取步态图像中包含的时空特征，并有效地学习步态图像的结构特征，本研究将CNN与LSTM结合提取步态图像特征。

本研究提出一种基于Xception 与LSTM 结合的下肢运动能力评价方法，通过效果最优的Xception-LSTM提取步态视频图像的步态特征，与膝关节角度、GRF 融合后建立步态指标对老年人的下肢运动能力进行评估。结果显示，年龄对膝关节、GRF 等影响显著，随着年龄增长，各项功能均有显著下降，GAS也明显降低，说明GAS可以客观量化老年人下肢运动能力。GAS 与WGS 呈显著负相关，说明GAS 在老年人下肢运动能力评估方面的有效性与临床相关性。

本算法通过提取步态特征并由此建立指标，使得针对老年人下肢运动能力系统、量化的评估成为可能。但本研究仍存在不足之处。在未来的研究当中可以增加受试者的数量，显示各年龄段的运动能力；针对不同障碍程度的老年人，提供不同的康复指导。